Пробел в ответственности ИИ: когда алгоритмы совершают ошибки на миллионы долларов, кто за это отвечает?

В январе 2021 года правительство Нидерландов подало в отставку. Не из-за войны или коррупционного скандала — а из-за алгоритма. Система оценки рисков налогового управления для пособий на детский уход рассматривала национальность как индикатор мошенничества, и примерно 35 000 родителей — в основном семьи с двойным или не голландским гражданством — были ошибочно объявлены мошенниками, им было приказано вернуть десятки тысяч евро, и они оказались в долгах, разводах и потерях жилья. Для родителей более 2 000 детей эта цепочка событий закончилась тем, что детей забрали в опеку.

Вот деталь, которая делает toeslagenaffaire основополагающим делом ответственности ИИ: на протяжении многих лет никто не мог быть назван. Пострадавшие родители не могли узнать, почему они были отмечены. Социальные работники ссылались на систему. У системы не было автора, который мог бы за это ответить. Когда нидерландский орган по защите данных наконец оштрафовал налоговую администрацию на 2,75 миллиона евро, миллион из этой суммы был за одно конкретное действие — использование национальности в качестве индикатора в модели риск-классификации.

Это пространство — между алгоритмическим решением и любым человеком, который может за него ответить — это пробел в ответственности ИИ. Этот пост о том, что его заполняет: задокументированные катастрофы, три различных неудачи, скрывающиеся внутри этого пробела, правила, которые теперь сходятся на одном требовании от Брюсселя до Нью-Йорка, и структурное решение, которое не ждет регулятора.

Ошибки никогда не были гипотетическими.

Самое убедительное доказательство того, что неподотчетные автоматизированные решения приводят к ошибкам, заключается в том, что это уже произошло — многократно, дорого и в основном до сегодняшней волны ИИ. Четыре задокументированных случая, каждый с разным уроком:

Обратите внимание на то, что объединяет четверых. В каждом случае процесс принятия решений был автоматизирован; последствия ложились на людей или на баланс; и организация затем испытывала трудности с тем, чтобы показать кто что оценивал, на каком основании. Модели были разными, но неудача была одинаковой — и для этого не требовалась большая языковая модель. То, что меняет современный ИИ, это только объем и беглость рекомендаций, поступающих в решения.

Три неудачи, скрывающиеся в промежутке

"Ответственность ИИ" используется как одно целое, но регуляторы рассматривают это как три отдельных вопроса — и организация может пройти один, не справившись с другими. Путаница в этом дорого обходится.

Объяснимость отвечает на вопрос почему система выдала этот результат? Современные инструменты могут генерировать постфактум объяснения — атрибуции признаков, значимость, обоснования на естественном языке. Полезно, но агрегированная объяснимость ("модель в целом сильно учитывает доход") не является ответом о этом заявителе на эту дату — что на самом деле требуют правила неблагоприятных действий и права на объяснение.

Аудируемость отвечает на вопрос можете ли вы доказать, как это конкретное решение было принято? Объяснение, сгенерированное по запросу, спустя месяцы, от модели, которая с тех пор была переобучена, является реконструкцией — а не записью. Разница между современным записывающим документом и постфактумной рационализацией — это разница между доказательством и историей. Аудируемость означает, что входные данные, выходные данные, версия модели и любой человеческий обзор были зафиксированы в момент принятия решения и не могут быть тихо отредактированы позже.

Ответственность отвечает на вопрос кто из людей несет ответственность? Это то, что никакие инструменты не могут создать задним числом. Если честный ответ на вопрос "кто решил?" — "модель", организация делегировала суждение, которым никто не владеет — и когда вред проявляется, ответственность все равно будет возложена, регулятором, судом или Королевской комиссией, на их условиях, а не на ваших. Анатомия записи, которая отвечает на все три вопроса, является отдельной темой — мы рассматриваем ее поле за полем в аудите решений ИИ.

Правила сходятся на одном требовании.

Регуляторная среда действительно находится в движении — включая значительное изменение даты в 2026 году — но направление однозначное: последствия автоматизированных решений должны быть прослеживаемыми до зафиксированного обоснования и человеческого контроля. В ЕС Закон о ИИ применяет риск-ориентированный подход: прямые запреты действуют с февраля 2025 года, а обязанности для ИИ общего назначения — с августа 2025 года, в то время как серьезные обязательства для "высоких рисков" (список Приложения III охватывает занятость, кредитование, образование, жизненно важные услуги, правоохранительные органы и многое другое) — ведение журналов, техническая документация, человеческий контроль, оценка соответствия — были отложены 2026 Цифровым Омнибусом на 2 декабря 2027 года (август 2028 года для ИИ, встроенного в регулируемые продукты). Штрафы на верхней границе достигают 35 миллионов евро или 7% от глобального оборота.

Тем не менее, ЕС не начал с этого. Статья 22 GDPR ограничивает исключительно автоматизированные решения с юридическими или аналогично значительными последствиями с 2018 года — и в решении SCHUFA (декабрь 2023 года) Суд Европейского Союза постановил, что оценка кредитного агентства сама по себе является таким автоматизированным решением, когда кредиторы сильно на нее полагаются. Предел "автоматизированного принятия решений" шире, чем предполагали большинство команд по соблюдению норм.

Соединенные Штаты регулируют по секторам, и сообщение совпадает. Циркуляр CFPB 2022-03 утверждает, что требования ECOA по неблагоприятным действиям не поддаются усложнению: кредитор, который не может предоставить конкретные, точные причины отказа, не может использовать алгоритм, который делает эти причины неизвестными. Местный закон 144 Нью-Йорка требует ежегодных аудитов на наличие предвзятости и уведомления кандидатов для автоматизированных инструментов найма. И давление имеет доказательную основу: анализ The Markup 2021 года миллионов заявок на ипотеку — при фиксировании 17 факторов андеррайтинга — показал, что кредиторы на 40–80% чаще отказывают заявителям цветной кожи по сравнению с аналогичными белыми заявителями, что стало основанием для федеральных агентств при запуске нового контроля за соблюдением законов о справедливом кредитовании. Такие паттерны именно для этого и существуют в аудиторских следах, чтобы выявляться внутренне, прежде чем новостная редакция или регулятор выявят их для вас.

Разве это не проблема для банков и правительств, а не для нас?

Отчасти это правда, и стоит быть точным. Большинство бизнес-решений, принятых с помощью ИИ — выбор стратегии, выбор поставщика, решение о продукте — далеко не попадают в список высоких рисков по Закону ЕС о ИИ, и самые строгие обязательства Закона не будут обязательными для кого-либо до конца 2027 года. Если ваша единственная причина беспокоиться — это закон, у вас есть время.

Но посмотрите на список случаев: каждая катастрофа в нем произошла до правил, которые сейчас ее регулируют. Регулирование находится ниже уровня ущерба, и ущерб никогда не нуждался в категории соблюдения — ему нужно было автоматизированное суждение, которому никто не принадлежал. Практическая ставка для обычной организации не штраф; это момент, когда клиент, член правления или ваш собственный посмертный анализ спрашивает: "почему мы приняли это решение?" и ответ в файле — это оценка уверенности модели. Ответственность легко зафиксировать в момент принятия решения и невозможно честно восстановить позже — именно эта асимметрия, а не календарь исполнения, является аргументом для начала сейчас.

Закрытие разрыва: именованное решение по каждому значимому решению

Исправление заключается не в меньшем количестве ИИ — рекомендации действительно полезны — и это не свод правил управления. Это структурная привычка: каждое значительное решение, повлиянное ИИ, получает имя человека, который его принял, с записанным обоснованием в момент его принятия. Что рекомендовала система; что решил человек; почему. Три поля, честно заполненные, закрывают большую часть пробела — они дают объяснению его предмет, аудиту его запись, а ответственности — его имя. Инженерия вокруг этого — хранение, ведение журналов, доказательства подделки, регуляторные особенности — является предметом отслеживания решений ИИ, третьей части этой серии.

Где подходит Argumentree — и где его "собрат" подходит

Argumentree реализует именно эту привычку для решений с поддержкой ИИ с участием человека. ИИ извлекает и структурирует аргументы и доказательства вокруг вопроса в виде дерева "за/против" — но люди оценивают, опровергают и ранжируют аргументы, а результат записывается с его обоснованием. В результате получается запись решения, где всегда можно увидеть, что выявила машина, как оценили люди, кто принял решение и почему — разрыв в ответственности закрыт конструктивно, а не политикой.

Ответственность не исчезает. Она просто передается позже, кем-то другим.

Голландские родители в конечном итоге получили ответы — от парламентских расследований, органа по защите данных и отставки правительства. Жертвы Robodebt получили свои ответы от Королевской комиссии. В обоих случаях ответственность, которой не хватало в момент принятия решения, была восстановлена позже, с огромными затратами, учреждениями с правом повестки и без обязательства быть благожелательными. Это и есть настоящий выбор, который представляет собой разрыв в ответственности: зафиксировать человеческое суждение сейчас или позволить кому-то другому назначить ответственность позже.

Организации, которые будут чувствовать себя комфортно в наступающую эпоху принуждения — и, что более важно, комфортно со своими собственными решениями — это те, кто рассматривает каждое значительное решение, повлиянное ИИ, так же, как они рассматривают подписанный контракт: составленный, обоснованный, датированный и зафиксированный. Механизм для этого не экзотичен. Это процесс принятия решений, где ИИ предлагает, назначенное лицо принимает решение, а обоснование сохраняется. (Куда эта дисциплина движется на уровне совета директоров — и что судебная практика требовала все это время — является темой совета директоров в 2030 году.)