Kesenjangan Akuntabilitas AI: Ketika Algoritma Membuat Kesalahan Seharga Jutaan Dolar, Siapa yang Bertanggung Jawab?

Pada Januari 2021, pemerintah Belanda mengundurkan diri. Bukan karena perang atau skandal korupsi — tetapi karena sebuah algoritma. Sistem penilaian risiko administrasi pajak untuk tunjangan perawatan anak telah memperlakukan kewarganegaraan sebagai indikator penipuan, dan sekitar 35.000 orang tua — secara tidak proporsional keluarga dengan kewarganegaraan ganda atau non-Belanda — salah dituduh sebagai penipu, diperintahkan untuk membayar kembali puluhan ribu euro, dan terjebak dalam utang, perceraian, dan kehilangan rumah. Bagi orang tua dari lebih dari 2.000 anak, rangkaian ini berakhir dengan anak-anak yang diambil ke dalam perawatan.

Berikut adalah rincian yang menjadikan toeslagenaffaire sebagai kasus pendiri akuntabilitas AI: selama bertahun-tahun, tidak ada yang bisa disalahkan. Orang tua yang terdampak tidak bisa mengetahui mengapa mereka ditandai. Petugas kasus mengandalkan sistem. Sistem tersebut tidak memiliki penanggung jawab. Ketika otoritas perlindungan data Belanda akhirnya mendenda administrasi pajak sebesar €2,75 juta, satu juta di antaranya adalah untuk satu tindakan spesifik — menggunakan kewarganegaraan sebagai indikator dalam model klasifikasi risiko.

Ruang itu — antara keputusan algoritmik dan manusia mana pun yang dapat bertanggung jawab atasnya — adalah kesenjangan akuntabilitas AI. Postingan ini membahas apa yang mengisinya: bencana yang terdokumentasi, tiga kegagalan berbeda yang tersembunyi di dalam kesenjangan, aturan yang kini berkumpul pada permintaan yang sama dari Brussels hingga New York, dan perbaikan struktural yang tidak menunggu regulator.

Kesalahan tersebut tidak pernah bersifat hipotetis.

Bukti terkuat bahwa keputusan otomatis yang tidak dapat dipertanggungjawabkan sering kali salah adalah bahwa hal itu sudah terjadi — berulang kali, dengan biaya tinggi, dan sebagian besar sebelum gelombang AI saat ini. Empat kasus yang terdokumentasi, masing-masing dengan pelajaran yang berbeda:

Perhatikan apa yang dimiliki keempatnya secara bersama. Dalam setiap kasus, proses pengambilan keputusan diotomatisasi; konsekuensinya jatuh pada orang-orang atau pada neraca; dan organisasi berjuang setelahnya untuk menunjukkan siapa yang menilai apa, berdasarkan apa. Modelnya berbeda, kegagalannya sama — dan tidak ada yang memerlukan model bahasa besar. Apa yang diubah oleh AI saat ini hanyalah volume dan kelancaran rekomendasi yang mengalir ke dalam keputusan.

Tiga kegagalan yang tersembunyi di dalam celah

"Akuntabilitas AI" sering digunakan sebagai satu kesatuan, tetapi regulator memperlakukannya sebagai tiga pertanyaan terpisah — dan sebuah organisasi dapat lulus satu tetapi gagal pada yang lainnya. Mencampuradukkan mereka adalah hal yang mahal.

Penjelasan menjawab mengapa sistem menghasilkan output ini? Alat modern dapat menghasilkan penjelasan setelah kejadian — atribusi fitur, saliency, rasional dalam bahasa alami. Berguna, tetapi penjelasan agregat ("model umumnya memberikan bobot besar pada pendapatan") bukanlah jawaban tentang pelamar ini pada tanggal ini — yang sebenarnya diminta oleh aturan tindakan merugikan dan hak penjelasan.

Auditabilitas menjawab bisakah Anda membuktikan bagaimana keputusan spesifik ini terjadi? Sebuah penjelasan yang dihasilkan atas permintaan, berbulan-bulan kemudian, dari model yang sejak itu telah dilatih ulang, adalah sebuah rekonstruksi — bukan catatan. Perbedaan antara catatan kontemporer dan rasionalisasi setelah kejadian adalah perbedaan antara bukti dan sebuah cerita. Auditabilitas berarti input, output, versi model, dan setiap tinjauan manusia dicatat pada saat keputusan dan tidak dapat diedit secara diam-diam setelahnya.

Akunabilitas menjawab siapa manusia yang bertanggung jawab? Ini adalah hal yang tidak dapat dihasilkan oleh alat apa pun setelah fakta. Jika jawaban jujur untuk "siapa yang memutuskan?" adalah "model," organisasi telah mendelegasikan penilaian yang tidak dimiliki oleh siapa pun — dan ketika bahaya muncul, tanggung jawab tetap akan ditetapkan, oleh regulator, pengadilan, atau Komisi Kerajaan, dengan syarat mereka, bukan milik Anda. Anatomi dari catatan yang menjawab ketiga pertanyaan tersebut adalah topik tersendiri — kami membahasnya bidang demi bidang di jejak audit keputusan AI.

Aturan-aturan tersebut mengarah pada permintaan yang sama.

Lanskap regulasi benar-benar dalam pergerakan — termasuk perubahan tanggal besar pada 2026 — tetapi arahnya satu arah: keputusan otomatis yang berdampak harus dapat dilacak ke alasan yang tercatat dan pengawasan manusia. Di UE, AI Act mengambil pendekatan berbasis risiko: larangan total telah diterapkan sejak Februari 2025 dan kewajiban AI umum sejak Agustus 2025, sementara kewajiban berat untuk sistem "berisiko tinggi" (daftar Lampiran III mencakup pekerjaan, kredit, pendidikan, layanan esensial, penegakan hukum, dan lainnya) — pencatatan, dokumentasi teknis, pengawasan manusia, penilaian kesesuaian — ditunda oleh Digital Omnibus 2026 hingga 2 Desember 2027 (Agustus 2028 untuk AI yang tertanam dalam produk yang diatur). Penalti di puncak skala mencapai €35 juta atau 7% dari omset global.

Namun, UE tidak mulai dari sana. Pasal 22 GDPR telah membatasi keputusan yang sepenuhnya otomatis dengan efek hukum atau efek signifikan serupa sejak 2018 — dan dalam putusan SCHUFA (Desember 2023), Pengadilan Eropa memutuskan bahwa skor dari lembaga kredit itu sendiri merupakan keputusan otomatis ketika pemberi pinjaman sangat bergantung padanya. Lingkup "pengambilan keputusan otomatis" lebih luas daripada yang diasumsikan oleh sebagian besar tim kepatuhan.

Amerika Serikat mengatur berdasarkan sektor, dan pesannya sesuai. Surat Edaran CFPB 2022-03 menyatakan bahwa persyaratan tindakan merugikan ECOA tidak dapat dilonggarkan karena kompleksitas: seorang kreditor yang tidak dapat memberikan alasan spesifik dan akurat untuk penolakan tidak boleh menggunakan algoritma yang membuat alasan tersebut tidak dapat diketahui. Undang-Undang Lokal 144 Kota New York mengharuskan audit bias tahunan dan pemberitahuan kandidat untuk alat perekrutan otomatis. Dan tekanan ini memiliki latar belakang bukti: analisis The Markup pada tahun 2021 terhadap jutaan aplikasi hipotek — dengan 17 faktor penjaminan tetap — menemukan bahwa pemberi pinjaman 40–80% lebih mungkin menolak pemohon yang berwarna dibandingkan pemohon kulit putih yang sebanding, temuan yang dikutip oleh lembaga federal saat meluncurkan penegakan pinjaman yang adil yang baru. Pola seperti itu adalah tepat apa yang ada untuk diungkapkan secara internal oleh jejak audit, sebelum sebuah ruang berita investigasi atau regulator mengungkapnya untuk Anda.

bukankah ini masalah bagi bank dan pemerintah, bukan untuk kita?

Sebagian benar, dan perlu ketelitian dalam hal ini. Sebagian besar keputusan bisnis yang dibuat dengan bantuan AI — pilihan strategi, pemilihan vendor, keputusan produk — tidak ada yang mendekati daftar risiko tinggi dari Undang-Undang AI UE, dan kewajiban terberat dari Undang-Undang tersebut tidak mengikat siapa pun hingga akhir 2027. Jika satu-satunya alasan Anda peduli adalah undang-undang, Anda memiliki waktu.

Tapi lihat kembali daftar kasusnya: setiap bencana di dalamnya terjadi sebelum aturan yang sekarang mengaturnya. Regulasi adalah hasil dari kerugian, dan kerugian tidak pernah membutuhkan kategori kepatuhan — itu membutuhkan penilaian otomatis yang tidak dimiliki siapa pun. Taruhan praktis bagi organisasi biasa bukanlah denda; itu adalah saat seorang pelanggan, anggota dewan, atau evaluasi pasca kejadian Anda bertanya "mengapa kita memutuskan ini?" dan jawaban yang ada adalah skor kepercayaan model. Akuntabilitas mudah dicatat pada saat pengambilan keputusan dan mustahil untuk direkonstruksi dengan jujur setelahnya — asimetri itu, bukan kalender penegakan, adalah argumen untuk memulai sekarang.

Menutup kesenjangan: sebuah penilaian yang disebutkan pada setiap keputusan yang berdampak

Solusinya bukanlah AI yang lebih sedikit — rekomendasinya benar-benar berguna — dan ini bukanlah binder tata kelola. Ini adalah kebiasaan struktural: setiap keputusan yang dipengaruhi AI yang berdampak mendapatkan penilaian manusia yang bernama, dicatat dengan alasannya, pada saat keputusan itu dibuat. Apa yang direkomendasikan sistem; apa yang diputuskan orang tersebut; mengapa. Tiga bidang, yang dijaga dengan jujur, menutup sebagian besar celah — mereka memberikan subjek penjelasan, catatan audit, dan nama akuntabilitas. Rekayasa di sekitar ini — penyimpanan, pencatatan, bukti manipulasi, spesifikasi regulasi — adalah subjek dari pelacakan keputusan AI, bagian ketiga dari seri ini.

Di mana Argumentree cocok — dan di mana saudaranya cocok

Argumentree mengoperasionalkan kebiasaan itu untuk keputusan yang dibantu AI dengan manusia dalam proses. AI mengekstrak dan menyusun argumen serta bukti seputar sebuah pertanyaan ke dalam pohon pro/con — tetapi orang-orang menimbang, membantah, dan menilai argumen, dan hasilnya dicatat beserta alasannya. Hasilnya adalah catatan keputusan di mana Anda selalu dapat melihat apa yang diungkapkan mesin, apa yang dinilai manusia, siapa yang memutuskan, dan mengapa — kesenjangan akuntabilitas ditutup melalui konstruksi daripada melalui kebijakan.

Tanggung jawab tidak menghilang. Itu hanya akan diberikan kemudian, oleh orang lain.

Orang tua Belanda akhirnya mendapatkan jawaban — dari penyelidikan parlemen, otoritas perlindungan data, dan pengunduran diri pemerintah. Korban Robodebt mendapatkan jawaban mereka dari Komisi Kerajaan. Dalam kedua kasus, akuntabilitas yang hilang pada saat pengambilan keputusan direkonstruksi kemudian, dengan biaya yang sangat besar, oleh institusi yang memiliki kekuasaan subpoena dan tidak memiliki kewajiban untuk bersikap dermawan. Itulah pilihan nyata yang dihadirkan oleh kesenjangan akuntabilitas: mencatat penilaian manusia sekarang, atau membiarkan orang lain menetapkan tanggung jawab nanti.

Organisasi yang akan merasa nyaman di era penegakan yang akan datang — dan, yang lebih penting, nyaman dengan keputusan mereka sendiri — adalah yang memperlakukan setiap pilihan yang dipengaruhi AI yang berdampak seperti mereka memperlakukan kontrak yang ditandatangani: ditulis, dipikirkan, bertanggal, dan tercatat. Mesin untuk itu tidaklah eksotis. Ini adalah proses pengambilan keputusan di mana AI mengusulkan, seorang yang bernama memutuskan, dan alasan tersebut tetap ada. (Ke mana disiplin itu menuju di tingkat dewan — dan apa yang telah diminta oleh hukum kasus selama ini — adalah subjek dari ruang dewan pada tahun 2030.)