Jurang Tanggungjawab AI: Apabila Algoritma Membuat Kesilapan Bernilai Juta Dolar, Siapa yang Bertanggungjawab?

Pada Januari 2021, kerajaan Belanda meletakkan jawatan. Bukan kerana perang atau skandal rasuah — tetapi kerana algoritma. Sistem penilaian risiko pentadbiran cukai untuk faedah penjagaan kanak-kanak telah menganggap kewarganegaraan sebagai petunjuk penipuan, dan kira-kira 35,000 ibu bapa — terutamanya keluarga dengan kewarganegaraan berganda atau bukan Belanda — telah salah dituduh sebagai penipu, diperintahkan untuk membayar semula puluhan ribu euro, dan terpaksa berhutang, bercerai, dan kehilangan rumah. Bagi ibu bapa lebih daripada 2,000 kanak-kanak, kesan berantai berakhir dengan kanak-kanak diambil untuk dijaga.

Berikut adalah butiran yang menjadikan toeslagenaffaire kes asas bagi tanggungjawab AI: selama bertahun-tahun, tiada siapa yang boleh ditunjukkan. Ibu bapa yang terjejas tidak dapat mengetahui mengapa mereka ditandakan. Pekerja kes merujuk kepada sistem. Sistem itu tiada penulis untuk bertanggungjawab. Apabila pihak berkuasa perlindungan data Belanda akhirnya mengenakan denda sebanyak €2.75 juta ke atas pentadbiran cukai, satu juta daripadanya adalah untuk satu tindakan khusus — menggunakan kewarganegaraan sebagai penunjuk dalam model pengelasan risiko.

Ruang itu — antara keputusan algoritma dan mana-mana manusia yang boleh bertanggungjawab untuknya — adalah jurang tanggungjawab AI. Pos ini adalah tentang apa yang mengisinya: bencana yang didokumenkan, tiga kegagalan yang berbeza yang tersembunyi di dalam jurang, peraturan yang kini bersatu pada permintaan yang sama dari Brussels ke New York, dan penyelesaian struktur yang tidak menunggu pengawal selia.

Kesilapan itu tidak pernah bersifat hipotesis.

Bukti terkuat bahawa keputusan automatik yang tidak dapat dipertanggungjawabkan sering salah adalah kerana ia sudah pun berlaku — berulang kali, dengan kos yang tinggi, dan kebanyakannya sebelum gelombang AI hari ini. Empat kes yang didokumenkan, masing-masing dengan pengajaran yang berbeza:

Perhatikan apa yang ada pada empat perkara ini. Dalam setiap satu, proses keputusan telah diautomatikkan; akibatnya jatuh kepada orang atau pada kunci kira-kira; dan organisasi berjuang selepas itu untuk menunjukkan siapa yang telah menilai apa, berdasarkan apa. Modelnya berbeza, tetapi kegagalannya adalah sama — dan tiada satu pun daripadanya memerlukan model bahasa yang besar. Apa yang diubah oleh AI hari ini hanyalah jumlah dan kelancaran cadangan yang mengalir ke dalam keputusan.

Tiga kegagalan yang tersembunyi di dalam jurang

"Akuntabiliti AI" digunakan sebagai satu kabur, tetapi pengawal selia menganggapnya sebagai tiga soalan berasingan — dan sebuah organisasi boleh lulus satu tetapi gagal yang lain. Mengelirukan mereka adalah mahal.

Keterjelasan menjawab mengapa sistem menghasilkan output ini? Alat moden boleh menghasilkan penjelasan pasca-hoc — atribusi ciri, kejelasan, rasional dalam bahasa semula jadi. Berguna, tetapi keterjelasan agregat ("model secara umum memberi berat kepada pendapatan") bukanlah jawapan tentang pemohon ini pada tarikh ini — yang merupakan apa yang sebenarnya dituntut oleh peraturan tindakan buruk dan hak penjelasan.

Kebolehan diaudit menjawab bolehkah anda membuktikan bagaimana keputusan khusus ini berlaku? Penjelasan yang dihasilkan atas permintaan, berbulan-bulan kemudian, dari model yang telah dilatih semula, adalah satu pembinaan semula — bukan rekod. Perbezaan antara rekod yang kontemporari dan rasionalisasi selepas kejadian adalah perbezaan antara bukti dan cerita. Kebolehan diaudit bermakna input, output, versi model, dan sebarang semakan manusia dirakam pada waktu keputusan dan tidak boleh disunting secara senyap selepas itu.

Akuntabiliti menjawab siapa manusia yang bertanggungjawab? Ini adalah sesuatu yang tidak dapat dihasilkan oleh sebarang alat selepas fakta. Jika jawapan jujur kepada "siapa yang memutuskan?" adalah "model," organisasi telah mendelegasikan penilaian yang tiada siapa yang memiliki — dan apabila kemudaratan muncul, tanggungjawab tetap akan diberikan, sama ada oleh pengawal selia, mahkamah, atau Suruhanjaya Diraja, mengikut terma mereka dan bukannya terma anda. Anatomi rekod yang menjawab ketiga-tiga soalan adalah topik tersendiri — kami membincangkannya bidang demi bidang dalam jejak audit keputusan AI.

Peraturan-peraturan sedang berkonvergensi pada permintaan yang sama.

Landskap pengawalan benar-benar dalam pergerakan — termasuk perubahan tarikh besar pada 2026 — tetapi arahannya adalah satu hala: keputusan automatik yang berkesan mesti boleh dijejaki kepada alasan yang direkodkan dan pengawasan manusia. Di EU, Akta AI mengambil pendekatan berasaskan risiko: larangan mutlak telah berkuat kuasa sejak Februari 2025 dan tanggungjawab AI umum sejak Ogos 2025, sementara kewajipan berat untuk sistem "berisiko tinggi" (senarai Lampiran III merangkumi pekerjaan, kredit, pendidikan, perkhidmatan penting, penguatkuasaan undang-undang dan banyak lagi) — pencatatan, dokumentasi teknikal, pengawasan manusia, penilaian pematuhan — telah ditangguhkan oleh Digital Omnibus 2026 kepada 2 Disember 2027 (Ogos 2028 untuk AI yang disematkan dalam produk yang dikawal). Penalti di puncak skala mencapai €35 juta atau 7% daripada perolehan global.

Namun, EU tidak bermula di situ. Artikel 22 GDPR telah mengehadkan keputusan yang sepenuhnya automatik dengan kesan undang-undang atau kesan signifikan yang serupa sejak 2018 — dan dalam keputusan SCHUFA (Disember 2023), Mahkamah Keadilan memutuskan bahawa skor agensi kredit itu sendiri adalah keputusan automatik apabila pemberi pinjaman sangat bergantung padanya. Lingkungan "pembuatan keputusan automatik" adalah lebih luas daripada yang disangka oleh kebanyakan pasukan pematuhan.

Amerika Syarikat mengawal mengikut sektor, dan mesejnya sepadan. Surat Pekeliling CFPB 2022-03 menyatakan bahawa keperluan tindakan buruk ECOA tidak boleh dipermudahkan oleh kompleksiti: seorang pemiutang yang tidak dapat memberikan alasan yang spesifik dan tepat untuk penolakan mungkin tidak boleh menggunakan algoritma yang menjadikan alasan tersebut tidak dapat diketahui. Undang-Undang Tempatan 144 di New York City memerlukan audit bias tahunan dan pemberitahuan calon untuk alat pengambilan automatik. Dan tekanan ini mempunyai latar belakang bukti: analisis Markup 2021 terhadap berjuta-juta permohonan gadai janji — dengan 17 faktor penilaian yang tetap — mendapati bahawa pemberi pinjaman 40–80% lebih cenderung untuk menolak pemohon berwarna berbanding pemohon putih yang setara, satu penemuan yang dirujuk oleh agensi persekutuan ketika melancarkan penguatkuasaan pinjaman adil yang baru. Corak seperti itu adalah tepat apa yang wujud untuk diteliti secara dalaman, sebelum sebuah bilik berita penyiasatan atau pengawal selia mengeluarkannya untuk anda.

bukankah ini masalah untuk bank dan kerajaan, bukan untuk kita?

Sebahagiannya benar, dan perlu ketepatan mengenainya. Kebanyakan keputusan perniagaan yang dibuat dengan bantuan AI — pilihan strategi, pemilihan vendor, keputusan produk — tidak berada dekat dengan senarai risiko tinggi Akta AI EU, dan tanggungjawab terberat Akta tersebut kini tidak mengikat sesiapa sehingga akhir 2027. Jika satu-satunya sebab anda peduli adalah undang-undang, anda mempunyai masa.

Tetapi lihat kembali pada senarai kes: setiap bencana di dalamnya berlaku sebelum peraturan yang kini mengatasinya. Peraturan itu adalah di bawah kesan bahaya, dan bahaya itu tidak pernah memerlukan kategori pematuhan — ia memerlukan penilaian automatik yang tiada pemiliknya. Taruhan praktikal bagi organisasi biasa bukanlah denda; ia adalah saat seorang pelanggan, ahli lembaga, atau post-mortem anda sendiri bertanya "kenapa kita memutuskan ini?" dan jawapan yang ada adalah skor keyakinan model. Tanggungjawab adalah murah untuk direkodkan pada waktu keputusan dan mustahil untuk dibina semula dengan jujur selepas itu — asimetri itu, bukan kalendar penguatkuasaan, adalah hujah untuk memulakan sekarang.

Menutup jurang: satu penghakiman yang dinamakan pada setiap keputusan yang berkesan

Penyelesaiannya bukan kurang AI — cadangan tersebut benar-benar berguna — dan ia bukanlah sebuah binder tadbir urus. Ia adalah satu tabiat struktur: setiap keputusan yang dipengaruhi AI yang berkesan mendapat penilaian manusia yang dinamakan, direkodkan dengan alasannya, pada saat ia dibuat. Apa yang disyorkan oleh sistem; apa yang diputuskan oleh individu; mengapa. Tiga bidang, disimpan dengan jujur, menutup kebanyakan jurang — mereka memberikan subjek kepada penjelasan, rekod kepada audit, dan nama kepada tanggungjawab. Kejuruteraan di sekeliling ini — penyimpanan, log, bukti pengubahsuaian, spesifikasi peraturan — adalah subjek penjejakan keputusan AI, bahagian ketiga siri ini.

Di mana Argumentree sesuai — dan di mana saudaranya sesuai

Argumentree mengoperasikan tepat kebiasaan itu untuk keputusan dibantu AI dengan manusia dalam proses. AI mengekstrak dan menyusun hujah dan bukti di sekitar soalan ke dalam pokok pro/con — tetapi orang menilai, membantah, dan memberi penilaian terhadap hujah-hujah tersebut, dan hasilnya dicatat bersama rasionalnya. Hasilnya adalah rekod keputusan di mana anda sentiasa dapat melihat apa yang ditemui oleh mesin, apa yang dinilai oleh manusia, siapa yang memutuskan, dan mengapa — jurang tanggungjawab ditutup melalui pembinaan dan bukannya melalui dasar.

Tanggungjawab tidak hilang. Ia hanya akan diberikan kemudian, oleh orang lain.

Ibu bapa Belanda akhirnya mendapat jawapan — daripada siasatan parlimen, pihak berkuasa perlindungan data, dan peletakan jawatan kerajaan. Mangsa Robodebt mendapat jawapan mereka daripada Suruhanjaya Diraja. Dalam kedua-dua kes, tanggungjawab yang hilang pada waktu keputusan dibina semula kemudian, dengan kos yang besar, oleh institusi yang mempunyai kuasa subpoena dan tiada kewajipan untuk bersikap dermawan. Itulah pilihan sebenar yang ditawarkan oleh jurang tanggungjawab: merekodkan penilaian manusia sekarang, atau membiarkan orang lain menetapkan tanggungjawab kemudian.

Organisasi yang akan selesa dalam era penguatkuasaan yang akan datang — dan, yang lebih penting, selesa dengan keputusan mereka sendiri — adalah yang memperlakukan setiap pilihan yang dipengaruhi AI dengan cara yang sama seperti mereka memperlakukan kontrak yang ditandatangani: ditulis, beralasan, bertarikh, dan direkodkan. Mesin untuk itu tidaklah eksotik. Ia adalah proses keputusan di mana AI mencadangkan, seorang individu yang dinamakan membuat keputusan, dan alasan itu kekal. (Ke mana disiplin itu menuju di peringkat lembaga — dan apa yang telah diminta oleh undang-undang kes selama ini — adalah subjek bilik lembaga pada tahun 2030.)