AI 결정 추적: 기업 AI 준수의 누락된 연결 고리

요청은 화요일에 감사 팀으로부터 도착하며, 정중하게 구체적입니다: 3월 11일에 표시된 고객에 대해 시스템이 사용한 입력, 실행된 모델의 버전, 점수를 매긴 대안, 결과를 검토한 사람의 이름을 보여주세요. 귀하의 엔지니어들은 파이프라인을 다시 실행할 수 있습니다 — 오늘의 데이터로, 오늘의 모델을 통해, 오늘의 답변을 생성합니다. 그러나 그들이 할 수 없는 것은 3월에 무슨 일이 있었는지를 보여주는 것입니다. 왜냐하면 모델이 그 이후로 두 번 재훈련되었고, 입력 스냅샷은 보관되지 않았으며, "인간 검토"는 아무도 아카이브하지 않은 Slack의 엄지 척이었기 때문입니다.

팀은 무언가를 만들어낼 것입니다 — 지연에 대한 사과와 함께 제공되는 그럴듯한 재구성입니다. 그리고 그것이 바로 감사가 증거와 구별하기 위해 존재하는 것입니다. 재구성은 아마도 일어난 일에 대한 이야기입니다. 흔적은 실제로 일어난 일의 기록입니다.

이 게시물은 세 부분으로 구성된 시리즈의 엔지니어링 부분입니다 — 책임 격차 (책임 없는 자동화된 결정이 재앙으로 끝나는 이유)와 AI 결정 감사 추적 (기록 자체의 다섯 가지 분야) 이후에 작성되었습니다. 여기에서는 결정 추적이 실제로 무엇을 의미하는지, 2026년 변경 사항 이후 실제로 존재하는 날짜와 함께 규제 지도를, 구현의 네 가지 기둥과 모델이 다른 사람에게 속하더라도 이를 수행하는 방법을 다룹니다.

"결정 추적"이 실제로 의미하는 것

모든 생산 시스템은 로그를 기록합니다. 추적은 다른 질문을 가진 다른 분야입니다. 전통적인 로그는 무슨 일이 일어났는지에 대한 답을 제공합니다: 요청 수신, 모델 호출, 응답 반환, 200 OK. 결정 추적은 결과가 왜 그랬는지에 대한 답을 제공합니다 — 이를 위해서는 일반 로그가 거의 기록하지 않는 네 가지 사항이 캡처되어야 합니다: 출력 뒤에 있는 추론 (이를 생성한 요소, 인수 또는 연쇄), 고려되고 평가된 대안, 결정권자의 정확한 신원 (그 순간의 모델 버전과 입력, 현재의 것이 아닌), 그리고 인간 체크포인트 — 누가 검토했는지, 무엇을 변경했는지, 무엇을 무시했는지.

이 시리즈의 두 번째 부분과 감사 추적의 관계는 간단합니다: 감사 추적은 단일 AI 영향을 받은 결정이 남기는 기록입니다; 추적은 모든 중요한 결정에 대해 이러한 기록이 존재하도록 보장하는 능력으로, 조용히 수정될 수 없으며 몇 달 후에도 요청 시 생성될 수 있습니다. 하나는 문서이고, 다른 하나는 문서를 신뢰할 수 있게 만드는 배관입니다.

규제 지도 — 실제 날짜가 반영된 상태로

EU AI 법안은 의사 결정 추적에 대해 작성된 가장 명확한 법률이며, 그 일정은 2026년에 변경되었으므로 정확히 언급할 가치가 있습니다. 고위험 시스템(부록 III 영역: 고용, 신용, 교육, 필수 서비스, 법 집행 등)에 대해 이 법안은 시스템의 수명 동안 자동 이벤트 로깅을 요구합니다(제12조), 제공자와 배포자 모두에 의해 최소 6개월의 로그 보존을 요구합니다(제19조 및 제26조), 10년 동안 보관되는 기술 문서(제18조), 개입 또는 무효화할 수 있는 권한을 가진 의미 있는 인간 감독(제14조), 심각한 사건 보고 — 즉시, 그리고 늦어도 15일 이내에, 광범위한 사건의 경우 2일로 단축될 수 있습니다(제73조) — 그리고 설명 권리: 영향을 받는 사람들은 자신에 대한 결정에서 AI의 역할에 대한 명확한 설명을 요구할 수 있습니다(제86조). 벌금은 최대 3,500만 유로 또는 전 세계 매출의 7%에 달합니다.

날짜: 2026 디지털 옴니버스 (규정 (EU) 2026/1744, 2026년 7월 발효)는 고위험 의무를 2026년 8월에서 2027년 12월 2일로 이동시켰습니다 — 기존 EU 안전법에 따라 제품에 내장된 AI의 경우 2028년 8월까지입니다. 이동하지 않은 것: 금지 사항(2025년 2월부터 발효), 일반 목적 AI 의무(2025년 8월), 투명성 및 콘텐츠 라벨링 의무(2026년 8월) — 그리고 GDPR 제22조, 이는 2018년부터 전적으로 자동화된 결정을 제한하며, CJEU의 SCHUFA 판결에 따라 결정 조직이 이를 많이 의존할 경우 제3자가 생성한 점수도 포함됩니다. 2027년 12월까지 결정 기록을 보관하기를 기다린다면, 오늘 적용되는 법에 이미 늦은 것입니다.

미국은 동일한 물질을 부문별로 규제합니다. 은행들은 2011년부터 연방준비제도의 SR 11-7 모델 위험 지침 아래에서 운영되어 왔습니다 — 모델 인벤토리, 독립적인 검증, 모델 작동 방식을 제3자가 이해할 수 있도록 충분한 문서화; 이는 어디에서나 생산 중인 추적 플레이북에 가장 가까운 것입니다. CFPB의 Circular 2022-03은 알고리즘의 복잡성에 관계없이 채권자에게 ECOA의 특정 사유 요구 사항을 준수하도록 요구합니다. 뉴욕시의 지방 법 144는 자동화된 채용 도구에 대한 연간 편향 감사 및 후보자 통지를 요구합니다. 그리고 콜로라도 — 대부분의 요약이 더 이상 존재하지 않는 법률을 설명하기 때문에 신중하게 인용할 가치가 있습니다 — 2026년 5월에 AI 법을 폐지하고 재제정했습니다 (SB 26-189, 결코 시행되지 않은 SB 24-205를 대체): 2027년 1월 1일부터, 중대한 결정에서 AI를 배포하는 자는 소비자에게 사용 전 통지, 인간 검토 및 불리한 결과 발생 후 30일 이내에 서면 설명을 제공해야 하며, 개발자는 배포자에게 기술 문서를 제공해야 합니다; 집행은 주 검찰총장에게 독점적입니다.

주변에는 감사인들이 점점 더 기준으로 삼고 있는 자발적인 비계가 있습니다: NIST AI 위험 관리 프레임워크 (관리, 매핑, 측정, 관리)와 ISO/IEC 42001, 인증 가능한 AI 관리 시스템 표준입니다. 둘 다 법률은 아니지만, "우리는 AI 거버넌스를 진지하게 다룬다"는 것을 검증 가능한 구조로 전환합니다 — 그리고 둘 다 이 게시물이 다루고 있는 결정 기록이 이미 존재한다고 가정합니다.

결정 추적의 네 가지 기둥

약어를 제거하면 위의 모든 프레임워크는 동일한 네 가지 기능을 요구합니다:

우리는 제3자 모델을 사용합니다 — 우리는 정말로 준수할 수 있을까요?

네 — 그리고 그 반대 의견은 아키텍처를 거꾸로 뒤집습니다. 공급업체의 모델 내부를 추적할 수는 없지만, 배포자로서 당신을 묶는 의무는 대부분 그렇게 요구하지 않습니다. 그들이 요구하는 것은 당신의 결정 측면입니다: 당신이 보낸 입력, 당신이 받은 출력, 그것을 사용한 맥락, 그것을 검토한 사람, 그리고 영향을 받은 사람에게 제공할 수 있는 이유입니다. 이 모든 것은 당신이 소유하는 추적 레이어에 존재하며, 그 뒤에 있는 API를 감싸고 있습니다.

벤더 관계는 의무를 제거하는 것이 아니라 세 가지 의무를 추가합니다: 이 모델이 선택된 이유와 사용을 위해 어떻게 검증되었는지를 문서화합니다; 결정마다 모델 버전을 고정하고 기록하여 "3월에 어떤 모델이 실행되었는가"에 대한 답변이 벤더가 업데이트를 배포한 후에도 가능하도록 합니다; 감사 지원 및 보존을 계약하여 규제 기관이 요청할 때 제공자의 증거의 절반에 접근할 수 있도록 합니다. 솔직한 양보: 진정으로 불투명한 기초 모델의 경우, 모델 수준에서의 추론 캡처는 제한적입니다 — 이것이 바로 캡처해야 할 가장 중요한 추론이 출력이 결정으로 바뀐 체크포인트에서 인간의 것이라는 이유입니다.

어디서 시작할까 — 마감일이 변경되었으니

16개월의 연기는 기다릴 이유가 아니라, 건축이 리모델링을 이기는 시기입니다. 정의상으로 흔적은 결정 시점에만 생성될 수 있으며, 2027년 12월까지 지금과 그 사이에 포착되지 않는 것은 영원히 재건축이 될 것입니다. 이미 적용되고 있는 두 가지 체계인 제22조와 일반 감사 가능성은 연기를 고려하지 않습니다.

실용적인 순서는 세 단계로 구성되어 있으며, 이 중 어느 것도 준수 부서를 필요로 하지 않습니다. AI 출력이 사람, 돈 또는 전략에 대한 중요한 결정에 영향을 미치는 지점을 목록화합니다. 이는 부록 III 목록에 포함되든 포함되지 않든 관계없이 이루어집니다. 각 지점을 기록된 인간의 판단으로 감쌉니다: 시스템이 추천한 내용, 누가 결정했는지, 그리고 왜 결정했는지를 결정 순간에 작성합니다. 기록을 중앙 집중화하여 검색 가능한 곳에 보관합니다. 그래서 "3월 11일 결정을 보여줘"라는 쿼리가 프로젝트가 아닌 요청이 됩니다. 이것이 추적의 80%이며, 규제 기관이 결코 묻지 않더라도 가질 가치가 있습니다 — 왜냐하면 귀하의 자체 사후 분석이 필요할 것이기 때문입니다. (기업 추적 롤아웃에 대한 감사 요구 사항, 보존, 접근 제어에 대해서는 우리 팀에 문의하세요.)

Argumentree가 적합한 곳 — 인간 결정 레이어

Argumentree는 사람들이 AI 지원으로 내리는 결정의 기초를 구현합니다. AI는 질문에 대한 주장을 pro/con 트리로 구조화합니다(서사보다는 구조로서의 추론 캡처); 사람들은 주장을 평가하고 반박하며 등급을 매기고, 이름이 지정된 결정자가 결과를 기록합니다(인간이 개입하는 과정으로, 검토 자체가 기록에 남습니다); 그리고 완성된 논의는 전체 주장 이력이 포함된 검색 가능한 결정 기록으로 지속됩니다(결정 간 패턴 검토가 가능한 이유는 기록이 구조화되어 있고 자유 텍스트가 아니기 때문입니다).

증거가 필요하기 전에 배관을 설치하세요.

화요일 요청으로 돌아가세요. 추적이 가능한 조직에서는 오후에 답변이 이루어집니다: 여기 입력 스냅샷이 있습니다, 여기 모델 버전이 있습니다, 여기 점수를 매긴 대안들이 있습니다, 여기 리뷰어의 기록된 판단과 고객이 받아야 했던 설명이 있습니다. 영웅적인 것은 없습니다 — 단지 필요하기 전에 구축된 배관으로, 결정 시점에 아무도 나중에 정직하게 재현할 수 없는 것을 포착합니다.

"AI 준수"의 진정한 내용은 약어가 제거된 후에 드러난다: 증거를 남기는 결정들. 법령은 그것에 수렴하고, 프레임워크는 그것을 전제로 하며, — 달력과 관계없이 그것을 수행할 가치가 있는 부분 — 귀하의 조직은 그것으로 더 잘 운영된다. 감사인을 만족시키는 동일한 흔적이 기억에서 재소송되는 것을 막는 기록이기 때문이다. 마감일은 변경되었지만 방향은 변하지 않았다.