AI 결정 감사 추적: AI가 추천한 내용과 인간이 결정한 내용을 기록하기

출시 후 3주가 지난 사후 분석이 진행되고 있으며, 방 안에서는 모두가 예상했던 질문이 나왔다: 왜 우리는 이를 승인했을까? 누군가 분석 작업 공간을 엽니다. 모델의 예측은 여전히 존재하며 — 결과적으로 낙관적이었던 — 타임스탬프와 신뢰도 점수가 있습니다. 그러나 존재하지 않는 것은 모든 중요한 요소들입니다: 누가 그 예측을 보았는지, 그들이 그것에 대해 어떻게 생각했는지, 어떤 의문이 제기되었고 무시되었는지, 그리고 왜 그날 결정이 옳게 느껴졌는지. 기계의 결정 부분은 완벽하게 보존되어 있습니다. 인간의 결정 부분은 사라졌습니다.

모든 진지한 AI 시스템은 로그를 유지합니다: 입력된 프롬프트, 출력된 토큰, 지연 시간, 모델 버전. 이 로그는 시스템을 디버깅하는 데 유용합니다. 그러나 이 로그는 시스템이 영향을 미친 결정에 대해 거의 아무것도 알려주지 않습니다. 왜냐하면 결정은 AI의 출력을 읽고 그에 따라 행동한 사람이 내렸기 때문입니다. 수용했습니다. 무시했습니다. 편집했습니다. 무시했습니다. 흥미로운 부분은 모델이 반환된 후에 발생하며, 모델 로그는 이를 기록하지 않습니다.

이것이 바로 AI 결정 감사 추적이라는 용어를 지금 명명할 가치가 있는 이유입니다. AI 지원 결정이 예외가 아닌 일반이 되고 있는 시점에서 말이죠. 이것은 모델 로그도 아니고 회의 노트도 아닙니다. 입력에서 결과까지 AI의 영향을 받은 결정의 연결된 기록입니다: AI에 제공된 것, AI가 추천한 것, 인간이 판단한 것, 그리고 최종적으로 결정된 것과 그 이유입니다. 이것은 일반적인 결정 감사 추적으로, AI가 선택을 형성한 특정 사례에 적용됩니다 — 그리고 이 시리즈에서는 책임 격차 (기록이 존재해야 하는 이유)와 결정 추적 (그에 대한 준수 엔지니어링) 사이에 위치합니다.

AI 영향을 받은 결정이 감사 가능해야 하는 이유

모델에 의해 결정이 형성되는 순간, 순수한 인간의 결정에서는 덜 강하게 느껴졌던 네 가지 압력이 나타난다:

• 책임. 누군가는 결과에 대해 책임을 져야 합니다. "AI가 추천했습니다"는 책임이 아닙니다 — 그것은 책임의 부재입니다. 결정은 판단을 내린 특정 인간에게 연결되는 흔적이 있어야 합니다. (이것을 건너뛰었을 때 발생하는 문서화된 재앙들 — 정부가 무너지고, 불법 복지 계획이 생기는 것 — 은 이 시리즈의 첫 번째 부분의 주제입니다.)
• 편향 탐지. 왜곡되거나 불공정한 결과는 단일 결정에서 드물게 나타나며, 여러 결정에서 패턴으로 나타납니다. 각 결정이 AI가 드러낸 것과 인간이 그것으로 무엇을 했는지를 기록해야만 패턴을 볼 수 있습니다.
• 준수. 규제는 추적 가능성과 인간의 감독으로 수렴하고 있습니다. EU AI 법의 고위험 체계는 시스템이 사건을 자동으로 기록하도록 요구합니다(제12조), 운영자가 최소 6개월 동안 해당 로그를 보관하도록 요구합니다(제19조 및 제26조), 제공자가 기술 문서를 10년 동안 보관하도록 요구합니다(제18조), 그리고 인간이 의미 있는 감독을 행사하도록 요구합니다(제14조) — 그리고 이는 영향을 받는 사람들이 개별 결정에 대한 설명을 받을 권리를 부여합니다(제86조). 이러한 의무는 2026년 디지털 옴니버스가 날짜를 변경한 후 2027년 12월 2일부터 적용됩니다. GDPR 제22조는 이미 시행 중입니다: CJEU의 SCHUFA 판결은 대출자가 신용 점수에 크게 의존할 경우 신용 점수조차도 자동화된 결정이라고 판단했습니다.
• 신뢰. 사람들 — 고객, 규제 기관, 동료들 — 검토할 수 없는 결정에 대해 덜 신뢰를 보입니다. 감사 가능성은 "시스템이 결정했다"를 "우리가 이렇게 결정했고, 여기에 그 이유가 있다"로 바꿉니다.

이러한 압박이 바로 조직들이 AI 지원 의사 결정에 투자하면서 감사 추적을 설계의 일부로 간주하고, 문제가 발생했을 때 추가하는 사후 생각이 아닌 이유입니다.

AI 결정 감사 추적이 포착해야 할 내용

유용한 기록은 다섯 가지를 기록합니다. 하나라도 놓치면 기록이 감사 가능하지 않게 됩니다 — 결정이 있었던 것은 알 수 있지만, 그것이 합리적이었는지는 알 수 없습니다.

주요 내용은 인간의 판단과 최종 근거가 메타데이터가 아닌 기록의 일급 요소라는 것입니다. 이것이 AI 결정 감사 추적을 모델 로그와 구분짓는 요소이며, 결정 지능의 더 넓은 원칙과 동일합니다: 그 결정과 그에 따른 이유가 내구성 있는 자산입니다.

감사할 수 없는 AI 결정의 위험

AI 영향을 받은 결정이 흔적을 남기지 않을 때, 실패 모드가 복합적으로 발생합니다. 각각은 독립적으로는 생존 가능하지만, 함께 발생할 경우 조직이 자신의 AI 지원 결정을 통제하지 못하게 되는 방식입니다.

우리 모델 로그는 이미 모든 것을 기록합니다.

그들은 모델이 한 모든 것을 기록합니다 — 그리고 그것이 결정이었다면, 이의는 유지될 것입니다. 그러나 이 글의 맨 위에서부터 자신의 로그를 통해 사후 분석을 진행해 보세요: 예측이 기록됩니다; 세 사람이 그것에 대해 논의한 회의는 있었나요? 신뢰 점수가 기록됩니다; 모델이 이 시장을 본 적이 없다는 영업 리드의 이의는 있었나요? 출력은 토큰 단위로 보존됩니다; CEO가 어쨌든 그것을 무시한 이유는 무엇인가요? 모델 로그는 필요하고 진정으로 가치가 있습니다 — 유지하세요. 그것은 나중에 중요한 질문에 대한 기록의 잘못된 절반일 뿐입니다. 그 질문은 결코 "시스템이 무엇을 출력했는가?"가 아니라 항상 "우리는 왜 그렇게 결정했는가?"입니다.

한 가지 솔직한 점을 인정해야 한다: 만약 전혀 인간이 개입하지 않는다면 — 모델의 출력 이 행동이며, 대량으로 — 인간 판단의 영역은 설계상 비어 있으며, 당신이 필요한 것은 AI 결정 감사 추적이 아니라 자체 제어가 있는 에이전트 수준의 결정 추적이다. 이는 다른 도구와 다른 분야이며 (우리의 형제 제품 AIAgentree가 있는 곳이다), 완전 자동화된 파이프라인이 "AI 지원"이라고 가장하는 것은 책임의 간극이 열리는 방법이다. 테스트는 간단하다: 만약 사람이 출력이 발효되기 전에 이를 무효화할 수 있다면, 그들의 판단을 기록하라; 만약 아무도 할 수 없다면, 명시적으로 그렇게 말하고 대신 에이전트를 추적하라.

Argumentree가 어떻게 사람을 포함시키는지

Argumentree는 간단한 노동 분업을 기반으로 구축되었습니다: AI는 구조를 만들고, 인간은 결정을 내립니다 — 그리고 전체 과정은 나중에 검토할 수 있도록 기록됩니다. AI는 주변의 주장과 증거를 추출하고 구조화하여 혼란스러운 토론이나 문서를 명확한 찬반 트리로 변환합니다. 그러나 모델은 결정을 내리지 않습니다. 사람들은 주장을 평가하고, 등급을 매기고, 반박하며, 그 이유와 함께 기록된 결과에 도달합니다.

그 구조 때문에 감사 추적이 자연스럽게 발생합니다. AI가 드러낸 것, 인간이 고려하거나 거부한 주장, 누가 결정했는지, 최종 결정과 그 근거를 모두 사후에 검토할 수 있으며, 기억에서 재구성된 것이 아닙니다. AI는 마지막 발언을 하지 않는 연구 보조자이며, 추론과 책임은 사람에게 남아 있습니다.

당신이 지지할 수 있는 기록

사후 분석으로 돌아가자. 흔적이 있는 경우, 그 회의는 3주간의 고고학 대신 20분이 된다: 여기 모델이 예측한 내용이 있고, 여기 그것에 도전한 사람과 그 이유가 있으며, 여기 방이 어쨌든 진행하기로 결정한 이유가 있다. 아마도 결정이 여전히 잘못되었을 수도 있지만 — 그것은 결정이었고, 소유되고 이유가 있었으며, 조직은 다시는 모델이나 사람을 신뢰하지 않기로 조용히 결론짓는 대신 그것으로부터 배울 수 있다.

AI 영향을 받은 결정이 가장 필요로 하고 가장 자주 결여하는 보상은 "모델이 그렇게 말했다"가 아니라, 여전히 그 이유가 붙어 있는 결정이다 — 감사 가능하고, 수정 가능하며, 다음에 같은 질문이 올 때 배울 수 있도록 존재하는 결정. 2027년에 도래할 규제는 가장 높은 위험을 가진 시스템에 대해 이와 유사한 것을 요구할 것이다. 당신이 앉고 싶지 않은 사후 분석은 지금 그것을 요구하고 있다.