人工智能问责差距：当算法犯下百万美元的错误时，谁应负责？

2021年1月，荷兰政府辞职。不是因为战争或腐败丑闻，而是因为一个算法。税务局的儿童保育津贴风险评分系统将国籍视为欺诈指标，约有35,000名家长——主要是拥有双重或非荷兰国籍的家庭——被错误地标记为欺诈者，被要求偿还数万欧元，并陷入债务、离婚和失去家园的境地。对于超过2,000名儿童的父母来说，这一连锁反应最终导致孩子们被带走照顾。

这里的细节使得toeslagenaffaire成为人工智能问责制的基础案例：多年来，没有人可以被指责。受影响的父母无法得知他们为何被标记。案件工作人员依赖于系统。系统没有作者为其负责。当荷兰数据保护机构最终对税务管理局罚款275万欧元时，其中100万欧元是因为一个特定行为——在风险分类模型中使用国籍作为指标。

这个空间——在算法决策与任何可以对此负责的人之间——就是人工智能问责差距。这篇文章讨论的是填补这个差距的内容：记录在案的灾难、隐藏在差距中的三种不同失败、从布鲁塞尔到纽约的相同要求正在汇聚的规则，以及不等待监管机构的结构性解决方案。

错误从来不是假设性的。

无法追责的自动化决策出错的最有力证据就是它们已经出错——反复发生，代价高昂，而且大多数是在今天的人工智能浪潮之前。四个有据可查的案例，每个案例都有不同的教训：

注意这四者的共同点。在每一个案例中，决策过程都是自动化的；后果落在了人身上或财务报表上；而组织在事后努力展示是谁在什么基础上做出的判断。模型不同，失败却是相同的——而这一切都不需要大型语言模型。今天的人工智能所改变的只是流入决策的建议的数量和流畅度。

隐藏在缝隙中的三个失败

“人工智能问责”被用作一个模糊的概念，但监管机构将其视为三个独立的问题——一个组织可以在一个问题上合格，而在其他问题上不合格。混淆这些问题是代价高昂的。

可解释性回答了 系统为什么会产生这个输出？ 现代工具可以生成事后解释——特征归因、显著性、自然语言理由。这是有用的，但聚合可解释性（“模型通常对收入赋予很大权重”）并不能回答关于 这个 申请人在 这个 日期的问题——这正是不利行动规则和解释权实际要求的。

可审计性回答 你能证明这个具体决策是如何发生的吗？ 在请求下生成的解释，几个月后来自一个已经重新训练的模型，是一种重建——而不是记录。同期记录与事后合理化之间的区别在于证据与故事之间的区别。可审计性意味着输入、输出、模型版本以及任何人工审查都在 决策时 被记录下来，之后不能被悄悄编辑。

问责制回答 哪个人负责？ 这是任何工具在事后都无法生成的答案。如果“谁决定？”的诚实答案是“模型”，那么组织就将一个没有人拥有的判断委托出去了——当伤害显现时，责任无论如何都会被分配，由监管机构、法院或皇家委员会根据他们的条款而非你的条款来分配。回答所有三个问题的记录的结构是一个独立的话题——我们在 人工智能决策审计轨迹 中逐步讲解。

规则正在趋向于相同的要求。

监管环境确实在变化——包括2026年的重大日期变更——但方向是单向的：重要的自动化决策必须可追溯到记录的推理和人类监督。在欧盟，人工智能法案采取基于风险的方法：自2025年2月起，已实施全面禁止，自2025年8月起，通用人工智能的义务生效，而“高风险”系统的重大义务（附录III清单涵盖就业、信贷、教育、基本服务、执法等）——记录、技术文档、人类监督、合规评估——被2026年数字综合法案推迟至2027年12月2日（对于嵌入受监管产品中的人工智能，推迟至2028年8月）。最高罚款可达3500万欧元或全球营业额的7%。

然而，欧盟并不是从这里开始的。GDPR 第22条 自2018年以来限制了仅基于自动化的法律或类似重大影响的决策——在SCHUFA 判决（2023年12月）中，欧洲法院裁定，当贷款人严重依赖信用机构的评分时，该评分本身就是一种自动化决策。“自动化决策”的范围比大多数合规团队假设的要广。

美国按行业进行监管，信息也相符。消费者金融保护局（CFPB）的2022-03号通告指出，平等信贷机会法（ECOA）的不利行动要求并不因复杂性而弯曲：无法提供拒绝的具体、准确理由的债权人不得使用使这些理由不可知的算法。纽约市的地方法第144号要求对自动招聘工具进行年度偏见审计，并通知候选人。而这种压力有证据背景：《Markup》对数百万份抵押贷款申请的2021年分析——在保持17个承保因素不变的情况下——发现贷款人拒绝有色人种申请者的可能性比可比的白人申请者高出40%至80%，这一发现被联邦机构在启动新的公平贷款执法时引用。这样的模式正是审计轨迹存在的原因，以便在调查新闻机构或监管机构为您揭示之前，内部能够发现这些问题。

“这不是银行和政府的问题，而是我们的问题吗？”

部分正确，值得明确。大多数在AI辅助下做出的商业决策——战略选择、供应商选择、产品决策——都远未达到欧盟AI法案的高风险清单，而该法案最严格的义务在2027年底之前不会约束任何人。如果你关心的唯一理由是法律条款，你还有时间。

但回顾一下案例列表：其中每一个灾难发生在现在的规则出台之前。该规定是在伤害发生之后制定的，而伤害从来不需要合规类别——它需要的是一个无人负责的自动判断。对于普通组织来说，实际的利害关系不是罚款；而是当客户、董事会成员或你自己的事后分析问“我们为什么做出这个决定？”时，档案中的答案是模型的置信度评分。在决策时记录问责是便宜的，而事后诚实重建则几乎不可能——这种不对称性，而不是执法日历，是现在就开始的理由。

缩小差距：对每一个重要决策的命名判断

修复并不是减少人工智能——这些建议确实很有用——而不是一个治理手册。这是一种结构性习惯：每一个重要的受人工智能影响的决策在做出时都要有一个指定的人类判断，并记录其理由。 系统推荐了什么；这个人决定了什么；为什么。三个字段，诚实地记录，几乎弥补了所有差距——它们为解释提供了主题，为审计提供了记录，为问责提供了名称。围绕这一点的工程——保留、记录、篡改证据、监管细节——是人工智能决策追踪的主题，这是本系列的第三部分。

Argumentree 的适用范围 — 以及它的兄弟适用的地方

Argumentree 正是为 人机协作的 AI 辅助决策 实现了这一习惯。AI 提取并结构化围绕问题的论点和证据，形成一个利弊树——但人们会对论点进行权衡、反驳和评分，结果及其理由会被记录下来。最终形成的决策记录使您始终可以看到机器所提出的内容、人类的判断、谁做出了决定以及原因——通过构建而非政策来弥补问责差距。

责任不会消失。它只是被其他人稍后分配。

荷兰的父母最终得到了答案——来自议会调查、数据保护机构和政府的辞职。罗博债务的受害者则通过皇家委员会得到了答案。在这两种情况下，决策时缺失的问责制在事后被拥有传票权且没有慈善义务的机构以巨大的代价重建。这就是问责缺口所呈现的真正选择：现在记录人类的判断，还是让其他人在之后分配责任。

在即将到来的执法时代中，能够感到舒适的组织——更重要的是，对自己的决策感到舒适的组织——是那些将每一个重要的受AI影响的选择视为签署合同的组织：有作者、有理由、有日期，并且有记录。实现这一点的机制并不复杂。这是一个决策过程，其中AI提出建议，指定人员做出处理，推理得以保留。（这种纪律在董事会层面的发展方向——以及案例法一直以来的要求——是2030年董事会的主题。）