Wisdom of Crowds: Galton's Ox — The 1906 Experiment That Proved Crowds Beat Experts

El científico que quería demostrar que las multitudes eran necias

La mejor parte del experimento más famoso en inteligencia colectiva es que fue diseñado — en espíritu, al menos — para probar lo contrario de lo que encontró.

Para 1906, Francis Galton era uno de los científicos más destacados de Gran Bretaña. Primo de Charles Darwin, había sido pionero en los conceptos estadísticos de correlación y regresión a la media, inventó el mapa del tiempo y estableció la identificación por huellas dactilares sobre una base científica. También era — y esto es importante para la historia — profundamente escéptico del juicio de las personas comunes. Galton creía que la inteligencia estaba concentrada en una pequeña élite hereditaria; acuñó el término “eugenesia” y pasó décadas promoviendo su idea, un legado que hoy se condena con razón y que es inseparable de cómo abordó esta cuestión. Cuando aplicó sus herramientas estadísticas a una multitud, esperaba documentar su incompetencia.

Así que cuando el anciano Galton de 84 años paseaba por la Exposición de Ganado y Aves de Corral del Oeste de Inglaterra en Plymouth en el otoño de 1906 y se encontró con un concurso de estimación de peso, vio un conjunto de datos irresistible. Aquí había una multitud — algunos expertos, la mayoría no — haciendo cientos de juicios numéricos independientes sobre un hecho, con una pequeña tarifa de entrada para mantenerlos honestos y un premio para mantenerlos motivados. Como escribió más tarde en Nature, el competidor promedio probablemente estaba tan capacitado para juzgar el buey como un votante promedio lo está para juzgar los méritos de la mayoría de los temas políticos sobre los que vota. La analogía con la democracia era el punto principal. Galton esperaba que la vox populi — la voz del pueblo — se avergonzara.

Una feria rural, un buey gordo y 787 boletos de seis peniques

La mecánica del concurso era simple, y — como sabemos ahora — accidentalmente cercana al diseño experimental ideal. Un buey vivo estaba en exhibición. Por seis peniques, cualquiera podía comprar una tarjeta sellada y numerada, escribir su nombre y dirección en ella, y registrar su estimación de lo que pesaría el buey una vez sacrificado y vestido — la cifra comercialmente significativa, y una pregunta más difícil que el peso vivo del animal. Las estimaciones más precisas ganaban premios.

Tres características de esta configuración merecen atención, porque cada una se relaciona con una condición que investigaciones posteriores demostrarían que es esencial para la precisión colectiva. Primero, la tarifa de seis peniques filtró a los bromistas prácticos — las personas tenían algo en juego. Segundo, cada tarjeta se llenó en privado: no hubo levantamiento de manos, ningún subastador llamando a un consenso en curso, ningún líder visible para copiar. Los juicios eran independientes. Tercero, la multitud era genuinamente mixta: carniceros y granjeros con experiencia profesional estaban junto a empleados y familias que, en palabras de Galton, eran guiados por la fantasía del momento. Los juicios eran diversos.

Después del concurso, Galton tomó prestadas las tarjetas. De aproximadamente 800, trece eran ilegibles o defectuosas, dejando 787 estimaciones válidas. Las clasificó, las tabuló, trazó su distribución y calculó sus cuantiles — un trabajo estadístico completo, publicado en Nature el 7 de marzo de 1907 bajo el título “Vox Populi” (Galton, F., Nature, 75, 450–451).

El resultado que lo sorprendió

La estimación más central — lo que ahora llamamos la mediana — fue de 1,207 libras. El buey, sacrificado y vestido, pesaba 1,198 libras. El veredicto colectivo de la multitud se desvió en nueve libras: un error de aproximadamente 0.8%, más cerca que las estimaciones de los expertos en ganado presentes.

Galton — para su genuino crédito como científico — reportó el resultado tal cual. “Este resultado es, creo, más digno de crédito para la confiabilidad de un juicio democrático de lo que podría haberse esperado,” escribió. Proveniente de un hombre que había pasado su carrera argumentando que el juicio sólido era un raro don hereditario, la frase es una silenciosa concesión científica: los datos habían superado su expectativa previa.

La historia mejoró en la correspondencia que siguió. Los lectores de Nature escribieron, y en su respuesta (“La Urna de Votación,” Nature, 75, 509) Galton reconoció que la media aritmética de las 787 estimaciones fue de 1,197 libras — una libra de diferencia con el peso verdadero. Un siglo después, el econometrista Kenneth Wallis (“Revisiting Francis Galton’s forecasting competition,” 2014) revisó los datos originales y el intercambio circundante, confirmando los elementos esenciales de la historia que James Surowiecki había hecho famosa. La desviación de una libra de la media es la versión que generalmente se cita hoy; la desviación de nueve libras de la mediana es con la que Galton realmente comenzó. Ambas son asombrosas.

¿Mediana o media? La elección estadística de Galton aún importa

¿Por qué Galton prefirió la estimación más central? Su razonamiento era explícitamente político: la mediana es el valor que una mayoría de la multitud ratificaría en una votación. Cualquier otro valor sería superado por aquellos que lo consideraran demasiado alto o demasiado bajo. La mediana, en otras palabras, es el veredicto democrático de la multitud — que era exactamente la pregunta sobre la vox populi que había planteado para probar.

Pero hay un argumento estadístico escondido dentro del político, y todavía se enseña hoy. La mediana es una estadística robusta: un puñado de estimaciones absurdas — alguien escribiendo 10,000 libras por risa — apenas la mueve, mientras que la media puede ser arrastrada arbitrariamente lejos por un solo valor atípico. La media, por otro lado, utiliza más de la información en los datos y, cuando los errores son aproximadamente simétricos e independientes, los cancela de manera más eficiente. La multitud de Galton se comportó lo suficientemente bien como para que ambas funcionaran: la mediana se desvió en 9 lb, la media en 1 lb. En multitudes más desordenadas — encuestas en línea, foros no moderados — la robustez de la mediana a menudo gana. Elegir tu mecanismo de agregación es una decisión sobre cuánto confías en las colas de tu multitud.

Por qué funciona el promedio: la aritmética de la cancelación de errores

No hay misticismo en el resultado de Galton. Cada estimación puede considerarse como el valor verdadero más un error. Si los errores son independientes y están dispersos a ambos lados de la verdad — algunos carniceros sobreestiman, algunos subestiman — entonces sumar las estimaciones cancela gran parte del error mientras la señal compartida se acumula. Cuanto más diversos e independientes sean los errores, más agresivamente se cancelan.

Scott Page formalizó más tarde la intuición como el teorema de predicción de diversidad (Page, The Difference, 2007): para el error cuadrado, el error colectivo es igual al error individual promedio menos la diversidad de las predicciones. Es una identidad matemática, no una afirmación empírica — lo que la hace tan útil. Una multitud supera a su miembro promedio exactamente tanto como sus miembros discrepan entre sí. La diversidad no es un lujo; es, aritméticamente, toda la ventaja. Una multitud de clones no gana nada de la agregación.

La misma lógica había sido descubierta, para preguntas de sí/no en lugar de cantidades, más de un siglo antes que Galton. El Marqués de Condorcet demostró en 1785 que si cada votante es incluso ligeramente más propenso que el azar a estar en lo correcto, y los votantes juzgan de manera independiente, la probabilidad de que la mayoría esté en lo correcto aumenta hacia la certeza a medida que el grupo crece. Contamos esa historia — y las formas dramáticas en que el teorema falla cuando sus suposiciones se rompen — en nuestra pieza complementaria sobre el Teorema del Jurado de Condorcet.

De nota al marco: las cuatro condiciones de Surowiecki

Durante la mayor parte del siglo XX, el buey de Galton fue una curiosidad estadística. Eso cambió en 2004, cuando James Surowiecki abrió La Sabiduría de las Multitudes con la historia de Plymouth y reunió un siglo de evidencia — desde mercados de valores hasta motores de búsqueda — de que las multitudes pueden ser sistemáticamente inteligentes. Crucialmente, Surowiecki no afirmó que las multitudes son siempre sabias. Identificó cuatro condiciones que la feria de Galton cumplió por accidente, y que cualquier multitud sabia necesita a propósito:

Eliminar cualquiera de las condiciones y la multitud no solo pierde su ventaja — puede volverse activamente peor que sus miembros, porque la agregación amplifica un sesgo compartido en lugar de cancelar errores independientes. Para la ciencia completa de las cuatro condiciones y sus modos de falla, consulte nuestra guía sobre la sabiduría de las multitudes.

La letra pequeña: lo que la feria hizo bien que las reuniones hacen mal

Aquí está la incómoda pregunta para cualquiera que dirija reuniones: ¿cuántas decisiones grupales en su organización están estructuradas como la feria de Galton — y cuántas están estructuradas como el opuesto exacto?

En la feria, cada juicio se comprometió en privado, por escrito, antes de que alguien viera el número de otra persona. En una reunión típica, la persona más senior o más segura habla primero, y cada “estimación” subsiguiente se ancla en la suya. Lo que parece ser treinta personas de acuerdo es a menudo la estimación de una persona con veintinueve ecos. Los economistas llaman al mecanismo una cascada de información: una vez que algunas opiniones tempranas son visibles, se vuelve racionalmente individual para cada persona subsiguiente descontar su propia información y copiar — y la independencia de la multitud, la condición que sostiene todo el fenómeno, colapsa silenciosamente (Bikhchandani, Hirshleifer & Welch, 1992). Cubrimos la mecánica en nuestra guía sobre cascadas de información.

Esta es también la razón por la que las replicaciones del experimento de Galton a veces decepcionan: si se realiza el juego de adivinanza del buey con un promedio en curso visible, o se permite que los participantes griten sus estimaciones, la precisión se degrada. La magia nunca estuvo en la multitud — estaba en el protocolo. Seis peniques, una tarjeta privada y una urna de votación cerrada resultan ser una mejor arquitectura de decisión que la mayoría de las salas de conferencias.

Descendientes modernos del buey

El principio de agregación que Galton documentó ahora recorre una notable gama de sistemas modernos:

Cada descendiente agrega algo diferente — los mercados agregan creencias en precios, los conjuntos agregan salidas de modelos en predicciones, los sistemas de votación agregan preferencias en resultados — y cada uno hereda la misma dependencia: el agregado es tan bueno como la independencia y diversidad de lo que lo alimenta. Esa semejanza familiar es el hilo conductor de toda la tradición de investigación, desde el teorema de 1785 de Condorcet hasta la investigación sobre inteligencia colectiva del Centro de Inteligencia Colectiva del MIT hoy — un arco de 240 años que trazamos en Inteligencia Colectiva: 240 Años de Investigación.

Lo que el buey de Galton significa para su equipo

La traducción práctica del experimento de 1906 es una breve lista de verificación, y se aplica en un punto específico en la vida de una decisión — el momento en que reúne y combina juicios, antes de que el grupo comience a deliberar:

• Recolecta estimaciones de manera independiente, por escrito, primero. Antes de la reunión, antes de que hable la persona senior. En el momento en que los juicios se vuelven visibles, la independencia — y la ventaja estadística de la multitud — comienza a decaer.
• Recluta activamente perspectivas diversas. El teorema de predicción de la diversidad es contundente: tu ventaja colectiva sobre tu miembro promedio es tu diversidad. Un panel de personas con el mismo trasfondo y la misma información es una suposición con muchas etiquetas de nombre.
• Elige tu mecanismo de agregación deliberadamente. Mediana para multitudes desordenadas, media para las bien comportadas, calificación estructurada cuando los juicios tienen múltiples dimensiones. “Lo discutimos y llegamos a un consenso” no es un mecanismo de agregación — generalmente es un mecanismo de anclaje.
• Mantén las razones, no solo los números. Las cartas de Galton le dijeron qué pensaba la multitud, nunca por qué. Para un buey, eso está bien. Para una decisión estratégica, el razonamiento es la parte que necesitarás cuando las circunstancias cambien.

Ese último punto es donde la toma de decisiones colaborativa moderna va más allá de Galton. Argumentree está diseñado para dar a un equipo el protocolo de feria con el razonamiento adjunto: los participantes contribuyen con argumentos independientemente y de manera asíncrona — antes de que la sala converja — en un árbol estructurado de pros y contras; el grupo luego califica cada argumento en dimensiones explícitas (utilidad, claridad, precisión, completitud), y las calificaciones se agregan en puntajes de consenso de la manera en que 787 tarjetas se agregaron en 1,207 libras. Las opciones de contribución anónima protegen la independencia de la jerarquía, y el rastro de auditoría completo preserva lo que el concurso del buey nunca pudo: el por qué detrás del número.

Galton fue a una feria para demostrar que el juicio ordinario no podía ser confiable. Se fue con la evidencia más sólida que alguien había producido hasta entonces de que — si se agrega correctamente — puede. El instrumento ha cambiado de una urna de votación a software. La lección no ha cambiado.