Yapay Zeka Sorumluluk Açığı: Algoritmalar Milyon Dolar Hataları Yaptığında, Kim Sorumlu?

Ocak 2021'de, Hollanda hükümeti istifa etti. Bir savaş ya da yolsuzluk skandalı yüzünden değil — bir algoritma yüzünden. Vergi idaresinin çocuk bakım yardımları için risk puanlama sistemi, milliyeti bir dolandırıcılık göstergesi olarak değerlendirmişti ve yaklaşık 35,000 ebeveyn — orantısız bir şekilde çift veya Hollanda dışı milliyete sahip aileler — yanlış bir şekilde dolandırıcı olarak damgalanmış, onlara on binlerce euro geri ödeme emri verilmiş ve borç, boşanma ve kaybedilen evler ile karşı karşıya kalmışlardı. 2,000'den fazla çocuğun ebeveynleri için bu zincir, çocukların koruma altına alınmasıyla sona erdi.

İşte toeslagenaffaire'yi AI hesap verebilirliğinin kurucu vakası yapan detay: yıllarca kimseye parmakla gösterilemedi. Etkilenen ebeveynler neden işaretlendiklerini öğrenemediler. Vaka çalışanları sisteme başvurdular. Sistemin sorumlu bir yazarı yoktu. Hollanda veri koruma otoritesi nihayet vergi idaresine 2.75 milyon € ceza verdiğinde, bunun bir milyonu belirli bir eylem için — risk sınıflandırma modelinde milliyeti bir gösterge olarak kullanmak için — kesilmişti.

O alan — bir algoritmik karar ile onun için hesap verebilecek herhangi bir insan arasındaki — Yapay Zeka hesap verebilirlik açığıdır. Bu yazı, onu dolduran şeyler hakkında: belgelenmiş felaketler, açının içinde gizlenen üç farklı başarısızlık, Brüksel'den New York'a aynı talebe doğru birleşen kurallar ve bir düzenleyici beklemeyen yapısal çözüm.

Hatalar asla varsayımsal değildi.

Hesap verilemeyen otomatik kararların yanlış gittiğine dair en güçlü kanıt, bunun zaten — tekrar tekrar, pahalıya mal olarak ve çoğunlukla bugünün AI dalgasından önce — gerçekleşmiş olmasıdır. Her biri farklı bir ders içeren dört belgelenmiş vaka:

Dördünün ortak noktasına dikkat edin. Her birinde, karar verme süreci otomatikleştirilmişti; sonuçlar insanlara veya bilanço üzerinde etkili oldu; ve organizasyon sonrasında kimin neyi, hangi temele dayanarak değerlendirdiğini göstermekte zorlandı. Modeller farklıydı, başarısızlık aynıydı — ve bunların hiçbiri büyük bir dil modeline ihtiyaç duymuyordu. Bugünün yapay zekasının değiştirdiği tek şey, kararlara akışkan bir şekilde giren önerilerin hacmi ve akıcılığıdır.

Açıkta gizlenen üç başarısızlık

"Yapay zeka hesap verebilirliği" tek bir kavram olarak kullanılsa da, düzenleyiciler bunu üç ayrı soru olarak ele alıyor — ve bir organizasyon birini geçerken diğerlerini geçemeyebilir. Bunları karıştırmak maliyetlidir.

Açıklanabilirlik, sistem bu çıktıyı neden üretti? Modern araçlar, sonradan açıklamalar üretebilir — özellik atıfları, belirginlik, doğal dil gerekçeleri. Kullanışlı, ancak toplu açıklanabilirlik ("model genellikle geliri ağır şekilde değerlendiriyor") bu başvuru sahibi hakkında bu tarihte bir cevap değildir — ki bu, olumsuz eylem kuralları ve açıklama haklarının gerçekten talep ettiği şeydir.

Denetlenebilirlik, bu belirli kararın nasıl alındığını kanıtlayabilir misiniz? sorusuna yanıt verir. Talep üzerine, aylar sonra, yeniden eğitilmiş bir modelden üretilen bir açıklama, bir yeniden yapılandırmadır — bir kayıt değil. Zamanında bir kayıt ile sonradan yapılan bir rasyonelleştirme arasındaki fark, kanıt ile bir hikaye arasındaki farktır. Denetlenebilirlik, girdilerin, çıktının, model versiyonunun ve herhangi bir insan incelemesinin karar anında kaydedildiği ve sonradan sessizce düzenlenemeyeceği anlamına gelir.

Hesap Verebilirlik hangi insanın sorumlu olduğunu yanıtlar. Bu, sonradan herhangi bir araçla üretilemeyecek bir şeydir. "Kim karar verdi?" sorusunun dürüst yanıtı "model" ise, organizasyon, kimsenin sahip olmadığı bir yargıyı devretmiştir — ve zarar ortaya çıktığında, sorumluluk yine de bir düzenleyici, bir mahkeme veya bir Kraliyet Komisyonu tarafından, sizin şartlarınız yerine onların şartlarıyla atanır. Üç soruyu da yanıtlayan bir kaydın anatomisi kendi başına bir konudur — bunu AI karar denetim izinde alan alan yürüyerek inceliyoruz.

Kurallar aynı talep etrafında birleşiyor.

Regülasyon ortamı gerçekten hareket halinde — 2026'da önemli bir tarih değişikliği de dahil — ancak yön tek yönlü: sonuç doğuran otomatik kararlar, kaydedilmiş akıl yürütmeye ve insan denetimine izlenebilir olmalıdır. AB'de, AI Yasası risk temelli bir yaklaşım benimsemektedir: doğrudan yasaklar Şubat 2025'ten beri uygulanmakta ve genel amaçlı AI yükümlülükleri Ağustos 2025'ten itibaren geçerlidir. "Yüksek riskli" sistemler için ağır yükümlülükler (Ek III listesi istihdam, kredi, eğitim, temel hizmetler, kolluk kuvvetleri ve daha fazlasını kapsamaktadır) — kayıt, teknik dokümantasyon, insan denetimi, uygunluk değerlendirmesi — 2026 Dijital Omnibus ile 2 Aralık 2027'ye (düzenlenmiş ürünlere entegre AI için Ağustos 2028) ertelendi. Cezalar, en üst seviyede 35 milyon € veya küresel cirosunun %7'sine kadar ulaşmaktadır.

AB orada başlamadı. GDPR Madde 22, 2018'den bu yana hukuki veya benzeri önemli etkileri olan yalnızca otomatik kararları kısıtlamıştır — ve SCHUFA kararında (Aralık 2023), Adalet Divanı, bir kredi ajansının puanının, kredi verenlerin buna büyük ölçüde güvenmesi durumunda, kendisinin böyle bir otomatik karar olduğunu hükme bağladı. "Otomatik karar verme" alanı, çoğu uyum ekibinin varsaydığından daha geniştir.

Amerika Birleşik Devletleri sektöre göre düzenlemeler yapar ve mesaj uyumludur. CFPB'nin 2022-03 Sayılı Genelgesi, ECOA'nın olumsuz eylem gerekliliklerinin karmaşıklık için esnemediğini belirtmektedir: belirli ve doğru bir reddetme nedeni veremeyen bir alacaklı, bu nedenleri bilinmez kılan algoritmayı kullanamaz. New York Şehri'nin Yerel Yasası 144, otomatik işe alım araçları için yıllık önyargı denetimleri ve aday bildirimleri gerektirmektedir. Ve baskının bir delil arka planı vardır: Markup'ın 2021'deki milyonlarca ipotek başvurusunu analizinde — 17 sigorta faktörünü sabit tutarak — kredi verenlerin, benzer beyaz başvuranlara göre renkli başvuranları reddetme olasılığının %40–80 daha fazla olduğunu bulmuştur; bu bulgu, federal ajansların yeni adil kredi uygulamalarını başlatırken alıntıladığı bir bulgudur. Bu tür kalıplar, bir soruşturma haber odası veya bir düzenleyici bunları sizin için ortaya çıkarmadan önce içsel olarak yüzeye çıkarmak için bir denetim izinin var olduğu şeylerdir.

Bu, bizim için değil, bankalar ve hükümetler için bir sorun değil mi?

Kısmen doğru ve net olmakta fayda var. AI yardımıyla yapılan çoğu iş kararı — bir strateji seçimi, bir tedarikçi seçimi, bir ürün kararı — AB AI Yasası'nın yüksek riskli listesine bile yaklaşmıyor ve Yasa'nın en ağır yükümlülükleri şu anda kimseyi 2027 sonuna kadar bağlamıyor. Eğer önemsemenin tek nedeni bir yasa ise, zamanınız var.

Ama dava listesinin arkasına bakın: içindeki her felaket, şu anda onu ele alan kurallardan önce gerçekleşti. Düzenleme, zararın ardından geliyor ve zarar, bir uyum kategorisine ihtiyaç duymuyordu — otomatik bir yargıya ihtiyaç vardı, kimsenin sahip olmadığı bir yargıya. Sıradan bir organizasyon için pratik risk bir ceza değil; bir müşterinin, bir yönetim kurulu üyesinin veya kendi ölüm sonrası değerlendirmelerinizin "bunu neden karar verdik?" diye sorduğu an ve dosyada yer alan cevap bir modelin güven puanı. Hesap verebilirlik, karar anında kaydedilmesi ucuz ve sonrasında dürüstçe yeniden yapılandırılması imkansızdır — bu asimetri, uygulama takviminden ziyade, şimdi başlamanın gerekçesidir.

Açığı kapatmak: her önemli karar için adlandırılmış bir yargı

Çözüm, daha az yapay zeka değil — öneriler gerçekten faydalı — ve bir yönetim dosyası da değil. Bu, yapısal bir alışkanlıktır: her önemli yapay zeka etkili karar, alındığı anda gerekçesiyle birlikte kaydedilmiş bir insan yargısına sahip olur. Sistem ne önerdi; kişi ne karar verdi; neden. Üç alan, dürüstçe tutulduğunda, çoğu boşluğu kapatır — açıklamaya konusunu, denetime kaydını ve hesap verebilirliğe adını verir. Bunun etrafındaki mühendislik — saklama, kayıt tutma, müdahale kanıtı, düzenleyici ayrıntılar — bu serinin üçüncü kısmı olan yapay zeka karar izleme konusudur.

Argumentree'nin nerede yer aldığı — ve kardeşinin nerede yer aldığı

Argumentree, insanın devrede olduğu AI destekli kararlar için tam olarak bu alışkanlığı işler. AI, bir soru etrafındaki argümanları ve kanıtları pro/con ağacına çıkarır ve yapılandırır — ancak insanlar argümanları tartar, çürütür ve değerlendirir, sonuç ise gerekçesiyle birlikte yazılır. Sonuç, makinenin ortaya çıkardığı, insanların değerlendirdiği, kimin karar verdiği ve nedenini her zaman görebileceğiniz bir karar kaydıdır — hesap verebilirlik açığı, politika ile değil, yapı ile kapatılmıştır.

Sorumluluk kaybolmaz. Sadece daha sonra, başkası tarafından devredilir.

Hollandalı ebeveynler sonunda cevaplar aldı — parlamenter soruşturmalar, bir veri koruma otoritesi ve bir hükümetin istifası aracılığıyla. Robodebt'in kurbanları ise kendi cevaplarını Kraliyet Komisyonu'ndan aldı. Her iki durumda da, karar verme anında eksik olan hesap verebilirlik, mahkeme celbi yetkisine sahip ve hayırsever olma zorunluluğu olmayan kurumlar tarafından, muazzam bir maliyetle, sonradan yeniden inşa edildi. Hesap verebilirlik açığının sunduğu gerçek seçim budur: insan yargısını şimdi kaydetmek ya da bir başkasının sorumluluğu daha sonra atamasına izin vermek.

Gelecek uygulama döneminde rahat olacak organizasyonlar — ve daha da önemlisi, kendi kararlarıyla rahat olacak olanlar — her önemli AI etkili seçimi, imzalı bir sözleşme gibi ele alanlardır: yazılmış, gerekçelendirilmiş, tarihli ve kayıtta. Bunun için gereken mekanizma egzotik değil. Bu, AI'nın önerdiği, belirli bir kişinin karar verdiği ve gerekçenin sürdüğü bir karar alma sürecidir. (Bu disiplinin yönetim kurulu seviyesinde nereye gittiği — ve içtihatların her zaman ne talep ettiği — 2030'daki yönetim odası konusudur.)