Wisdom of Crowds: Galton's Ox — The 1906 Experiment That Proved Crowds Beat Experts

Ilmuwan yang ingin membuktikan kerumunan bodoh

Bagian terbaik dari eksperimen paling terkenal dalam kecerdasan kolektif adalah bahwa itu dirancang — setidaknya dalam semangat — untuk membuktikan kebalikan dari apa yang ditemukan.

Pada tahun 1906, Francis Galton adalah salah satu ilmuwan paling terkemuka di Inggris. Seorang sepupu Charles Darwin, ia telah mempelopori konsep statistik korelasi dan regresi ke rata-rata, menciptakan peta cuaca, dan meletakkan identifikasi sidik jari pada dasar ilmiah. Ia juga — dan ini penting untuk cerita — sangat skeptis terhadap penilaian orang biasa. Galton percaya bahwa kecerdasan terkonsentrasi pada elit herediter kecil; ia menciptakan istilah “eugenika” dan menghabiskan beberapa dekade mempromosikannya, sebuah warisan yang hari ini dicela dengan tepat dan tak terpisahkan dari bagaimana ia mendekati pertanyaan ini. Ketika ia mengarahkan alat statistiknya pada kerumunan, ia berharap untuk mendokumentasikan ketidakmampuannya.

Jadi ketika Galton yang berusia 84 tahun berjalan melalui Pameran Hewan Berat dan Unggas di Plymouth pada musim gugur 1906 dan menemukan kompetisi penilaian berat, ia melihat set data yang tak tertahankan. Di sini ada kerumunan — beberapa ahli, sebagian besar tidak — membuat ratusan penilaian numerik independen tentang suatu fakta, dengan biaya masuk kecil untuk menjaga mereka jujur dan hadiah untuk menjaga mereka termotivasi. Seperti yang ia tulis kemudian di Nature, rata-rata pesaing mungkin sama baiknya untuk menilai sapi seperti rata-rata pemilih untuk menilai manfaat sebagian besar isu politik yang ia pilih. Analogi dengan demokrasi adalah seluruh poinnya. Galton berharap vox populi — suara rakyat — akan mempermalukan dirinya sendiri.

Sebuah pameran desa, seekor sapi gemuk, dan 787 tiket enam pence

Mekanika kontesnya sederhana, dan — seperti yang kita ketahui sekarang — secara kebetulan mendekati desain eksperimen yang ideal. Seekor sapi hidup dipamerkan. Dengan enam pence, siapa pun dapat membeli kartu yang dicap dan bernomor, menulis nama dan alamat mereka di atasnya, dan mencatat perkiraan berat sapi setelah dijagal dan dipotong — angka yang berarti secara komersial, dan pertanyaan yang lebih sulit daripada berat hidup hewan tersebut. Tebakan yang paling akurat memenangkan hadiah.

Tiga fitur dari pengaturan ini layak diperhatikan, karena masing-masing memetakan pada kondisi yang kemudian ditunjukkan oleh penelitian bahwa sangat penting untuk akurasi kolektif. Pertama, biaya enam pence menyaring lelucon praktis murni — orang memiliki kepentingan di dalamnya. Kedua, setiap kartu diisi secara pribadi: tidak ada angkat tangan, tidak ada pelelang yang memanggil konsensus yang berjalan, tidak ada pelopor yang terlihat untuk disalin. Penilaian tersebut adalah independen. Ketiga, kerumunan benar-benar campuran: tukang daging dan petani dengan keahlian profesional berdiri di samping pegawai dan keluarga yang, dalam kata-kata Galton, dipandu oleh imajinasi saat itu. Penilaian tersebut adalah beragam.

Setelah kontes, Galton meminjam kartu-kartu tersebut. Dari sekitar 800, tiga belas tidak dapat dibaca atau cacat, meninggalkan 787 estimasi valid. Ia menyortirnya, membuat tabel, memplot distribusinya, dan menghitung kuantilnya — sebuah pekerjaan statistik lengkap, diterbitkan di Nature pada 7 Maret 1907 dengan judul “Vox Populi” (Galton, F., Nature, 75, 450–451).

Hasil yang mengejutkannya

Estimasi yang paling tengah — apa yang sekarang kita sebut median — adalah 1.207 pon. Sapi, setelah disembelih dan dipotong, beratnya 1.198 pon. Putusan kolektif kerumunan meleset sembilan pon: kesalahan sekitar 0,8%, lebih dekat daripada estimasi para ahli ternak yang hadir.

Galton — untuk kreditnya yang tulus sebagai seorang ilmuwan — melaporkan hasilnya secara langsung. “Hasil ini, saya rasa, lebih dapat dipercaya terhadap keandalan penilaian demokratis daripada yang mungkin diharapkan,” tulisnya. Datang dari seorang pria yang telah menghabiskan kariernya berargumen bahwa penilaian yang baik adalah hadiah herediter yang langka, kalimat itu adalah pengakuan ilmiah yang tenang: data telah mengalahkan pendapat sebelumnya.

Cerita menjadi lebih baik dalam korespondensi yang menyusul. Pembaca Nature menulis, dan dalam balasannya (“Kotak Suara,” Nature, 75, 509) Galton mengakui bahwa rata-rata dari semua 787 tebakan adalah 1.197 pon — satu pon dari berat sebenarnya. Seabad kemudian, ekonometrik Kenneth Wallis (“Mengunjungi kembali kompetisi peramalan Francis Galton,” 2014) meneliti kembali data asli dan pertukaran sekitarnya, mengonfirmasi esensi cerita yang telah terkenal oleh James Surowiecki. Kesalahan satu pon dari rata-rata adalah versi yang biasanya dikutip hari ini; kesalahan sembilan pon dari median adalah apa yang sebenarnya dipimpin Galton. Keduanya mengejutkan.

Median atau rata-rata? Pilihan statistik Galton masih penting

Mengapa Galton lebih memilih estimasi yang paling tengah? Alasan yang ia berikan secara eksplisit bersifat politik: median adalah nilai yang akan diratifikasi oleh mayoritas kerumunan dalam sebuah pemungutan suara. Setiap nilai lain akan dikalahkan oleh mereka yang menganggapnya terlalu tinggi atau terlalu rendah. Median, dengan kata lain, adalah putusan demokratis kerumunan — yang merupakan pertanyaan tepat tentang vox populi yang ingin ia uji.

Tetapi ada argumen statistik yang tersembunyi di dalam argumen politik tersebut, dan itu masih diajarkan hingga hari ini. Median adalah statistik yang kuat: segelintir tebakan yang absurd — seseorang menulis 10.000 pon untuk bersenang-senang — hampir tidak menggerakkannya, sedangkan rata-rata dapat ditarik sejauh yang diinginkan oleh satu outlier. Rata-rata, di sisi lain, menggunakan lebih banyak informasi dalam data dan, ketika kesalahan relatif simetris dan independen, membatalkan mereka lebih efisien. Kerumunan Galton cukup teratur sehingga keduanya berhasil: median meleset 9 lb, rata-rata 1 lb. Dalam kerumunan yang lebih berantakan — jajak pendapat online, forum yang tidak dimoderasi — ketahanan median sering kali menang. Memilih mekanisme agregasi Anda adalah keputusan tentang seberapa banyak Anda mempercayai ekor kerumunan Anda.

Mengapa rata-rata berhasil: aritmetika pembatalan kesalahan

Tidak ada mistisisme dalam hasil Galton. Setiap tebakan dapat dianggap sebagai nilai sebenarnya ditambah kesalahan. Jika kesalahan tersebut adalah independen dan tersebar di kedua sisi kebenaran — beberapa tukang daging memperkirakan terlalu tinggi, beberapa terlalu rendah — maka menambahkan tebakan bersama-sama membatalkan banyak kesalahan sementara sinyal yang sama terakumulasi. Semakin beragam dan independen kesalahan, semakin agresif mereka membatalkan.

Scott Page kemudian memformalkan intuisi tersebut sebagai teorema prediksi keberagaman (Page, The Difference, 2007): untuk kesalahan kuadrat, kesalahan kolektif sama dengan rata-rata kesalahan individu dikurangi keberagaman prediksi. Ini adalah identitas matematis, bukan klaim empiris — yang membuatnya sangat berguna. Kerumunan mengalahkan anggota rata-ratanya dengan tepat sebanyak anggota-anggotanya tidak setuju satu sama lain. Keberagaman bukanlah sesuatu yang baik untuk dimiliki; secara aritmetika, itu adalah seluruh keuntungan. Kerumunan klon tidak mendapatkan apa-apa dari agregasi.

Logika yang sama telah ditemukan, untuk pertanyaan ya/tidak daripada kuantitas, lebih dari satu abad sebelum Galton. Marquis de Condorcet membuktikan pada tahun 1785 bahwa jika setiap pemilih bahkan sedikit lebih mungkin daripada kebetulan untuk benar, dan pemilih menilai secara independen, probabilitas bahwa mayoritas benar meningkat menuju kepastian seiring dengan pertumbuhan kelompok. Kami menceritakan cerita itu — dan cara dramatis teorema gagal ketika asumsi-asumsinya rusak — dalam karya pendamping kami tentang Teorema Juri Condorcet.

Dari catatan kaki ke kerangka: empat kondisi Surowiecki

Selama sebagian besar abad kedua puluh, sapi Galton adalah keingintahuan statistik. Itu berubah pada tahun 2004, ketika James Surowiecki membuka Kebijaksanaan Kerumunan dengan cerita Plymouth dan mengumpulkan seratus tahun bukti — dari pasar saham hingga mesin pencari — bahwa kerumunan dapat secara sistematis cerdas. Yang penting, Surowiecki tidak mengklaim bahwa kerumunan selalu bijaksana. Ia mengidentifikasi empat kondisi yang dipenuhi secara kebetulan oleh pameran Galton, dan yang dibutuhkan oleh setiap kerumunan bijaksana dengan sengaja:

Hapus salah satu kondisi dan kerumunan tidak hanya kehilangan keunggulannya — ia bisa menjadi lebih buruk daripada anggotanya, karena agregasi kemudian memperkuat bias bersama alih-alih membatalkan kesalahan independen. Untuk ilmu lengkap tentang empat kondisi dan mode kegagalannya, lihat panduan kami tentang kebijaksanaan kerumunan.

Cetakan kecil: apa yang benar di pameran yang salah di rapat

Berikut adalah pertanyaan yang tidak nyaman bagi siapa pun yang menjalankan rapat: berapa banyak keputusan kelompok di organisasi Anda yang terstruktur seperti pameran Galton — dan berapa banyak yang terstruktur seperti kebalikan yang tepat?

Di pameran, setiap penilaian dilakukan secara pribadi, secara tertulis, sebelum siapa pun melihat angka orang lain. Dalam rapat yang khas, orang yang paling senior atau paling percaya diri berbicara terlebih dahulu, dan setiap “estimasi” berikutnya terikat pada angka mereka. Apa yang terlihat seperti tiga puluh orang yang setuju sering kali adalah tebakan satu orang dengan dua puluh sembilan gema. Para ekonom menyebut mekanisme ini sebagai cascades informasi: setelah beberapa pendapat awal terlihat, menjadi rasional secara individu bagi setiap orang berikutnya untuk mendiskon informasi mereka sendiri dan meniru — dan independensi kerumunan, kondisi penopang dari seluruh fenomena, dengan tenang runtuh (Bikhchandani, Hirshleifer & Welch, 1992). Kami membahas mekanika ini dalam panduan kami tentang cascades informasi.

Inilah juga mengapa replikasi eksperimen Galton kadang-kadang mengecewakan: jalankan permainan tebak sapi dengan rata-rata yang terlihat, atau biarkan peserta meneriakkan tebakan mereka, dan akurasi menurun. Keajaiban tidak pernah ada di kerumunan — itu ada di protokol. Enam pence, kartu pribadi, dan kotak suara terkunci ternyata menjadi arsitektur keputusan yang lebih baik daripada sebagian besar ruang konferensi.

Keturunan modern dari sapi

Prinsip agregasi yang didokumentasikan Galton sekarang berjalan melalui berbagai sistem modern yang luar biasa:

Setiap keturunan mengagregasi sesuatu yang berbeda — pasar mengagregasi keyakinan menjadi harga, ensemble mengagregasi keluaran model menjadi prediksi, sistem pemungutan suara mengagregasi preferensi menjadi hasil — dan masing-masing mewarisi ketergantungan yang sama: agregat hanya sebaik independensi dan keberagaman dari apa yang menyuplai. Kesamaan keluarga itu adalah benang merah dari seluruh tradisi penelitian, dari teorema Condorcet tahun 1785 hingga penelitian kecerdasan kolektif di Pusat Kecerdasan Kolektif MIT hari ini — sebuah lengkungan 240 tahun yang kami lacak dalam Kecerdasan Kolektif: 240 Tahun Penelitian.

Apa arti sapi Galton untuk tim Anda

Terjemahan praktis dari eksperimen 1906 adalah daftar periksa singkat, dan itu berlaku pada satu titik spesifik dalam kehidupan sebuah keputusan — saat Anda mengumpulkan dan menggabungkan penilaian, sebelum kelompok mulai berdiskusi:

• Kumpulkan estimasi secara independen, secara tertulis, terlebih dahulu. Sebelum pertemuan, sebelum orang senior berbicara. Begitu penilaian menjadi terlihat, independensi — dan keuntungan statistik kerumunan — mulai menurun.
• Secara aktif merekrut perspektif yang beragam. Teorema prediksi keragaman sangat jelas: keuntungan kolektif Anda dibandingkan dengan anggota rata-rata Anda adalah keragaman Anda. Sebuah panel orang dengan latar belakang dan informasi yang sama adalah satu tebakan yang mengenakan banyak label nama.
• Pilih mekanisme agregasi Anda dengan hati-hati. Median untuk kerumunan yang berantakan, rata-rata untuk yang tertib, penilaian terstruktur ketika penilaian memiliki beberapa dimensi. “Kami membahasnya dan mencapai konsensus” bukanlah mekanisme agregasi — itu biasanya merupakan mekanisme penambatan.
• Jaga alasannya, bukan hanya angkanya. Kartu Galton memberitahunya apa yang dipikirkan kerumunan, tidak pernah mengapa. Untuk seekor sapi, itu baik-baik saja. Untuk keputusan strategi, penalaran adalah bagian yang akan Anda butuhkan ketika keadaan berubah.

Poin terakhir inilah yang membuat pengambilan keputusan kolaboratif modern melampaui Galton. Argumentree dibangun untuk memberikan tim protokol pameran dengan penalaran yang terlampir: peserta menyumbangkan argumen secara independen dan asinkron — sebelum ruangan berkumpul — ke dalam pohon pro/con terstruktur; kelompok kemudian menilai setiap argumen pada dimensi eksplisit (kegunaan, kejelasan, akurasi, kelengkapan), dan penilaian tersebut teragregasi menjadi skor konsensus seperti 787 kartu teragregasi menjadi 1.207 pon. Opsi kontribusi anonim melindungi independensi dari hierarki, dan jejak audit penuh mempertahankan apa yang tidak pernah bisa dilakukan kontes sapi: mengapa di balik angka.

Galton pergi ke pameran untuk membuktikan bahwa penilaian biasa tidak dapat dipercaya. Ia pergi dengan bukti terkuat yang pernah ada bahwa — jika digabungkan dengan benar — itu bisa. Alatnya telah berubah dari kotak suara menjadi perangkat lunak. Pelajarannya tidak.