Wisdom of Crowds: Galton's Ox — The 1906 Experiment That Proved Crowds Beat Experts

Der Wissenschaftler, der beweisen wollte, dass Massen dumm sind

Der beste Teil des berühmtesten Experiments in kollektiver Intelligenz ist, dass es — zumindest im Geiste — entworfen wurde, um das Gegenteil von dem zu beweisen, was es fand.

Bis 1906 war Francis Galton einer der erfolgreichsten Wissenschaftler in Großbritannien. Ein Vetter von Charles Darwin, hatte er die statistischen Konzepte der Korrelation und Regression zum Mittelwert eingeführt, die Wetterkarte erfunden und die Fingerabdruckidentifikation auf eine wissenschaftliche Grundlage gestellt. Er war auch — und das ist für die Geschichte wichtig — tief skeptisch gegenüber dem Urteil gewöhnlicher Menschen. Galton glaubte, dass Intelligenz in einer kleinen erblichen Elite konzentriert war; er prägte den Begriff „Eugenik“ und verbrachte Jahrzehnte damit, ihn zu fördern, ein Erbe, das heute zu Recht verurteilt wird und untrennbar mit seiner Herangehensweise an diese Frage verbunden ist. Als er seine statistischen Werkzeuge auf eine Menge richtete, erwartete er, deren Unfähigkeit zu dokumentieren.

Als der 84-jährige Galton im Herbst 1906 durch die West of England Fat Stock and Poultry Exhibition in Plymouth schlenderte und auf einen Wettbewerb zur Gewichtsschätzung stieß, sah er einen unwiderstehlichen Datensatz. Hier war eine Menge — einige Experten, die meisten nicht — die Hunderte von unabhängigen numerischen Urteilen über eine Tatsache abgaben, mit einer kleinen Teilnahmegebühr, um sie ehrlich zu halten, und einem Preis, um sie zu motivieren. Wie er später in Nature schrieb, war der durchschnittliche Teilnehmer wahrscheinlich ebenso gut geeignet, den Ochsen zu beurteilen, wie ein durchschnittlicher Wähler geeignet ist, die Vorzüge der meisten politischen Themen, über die er abstimmt, zu beurteilen. Die Analogie zur Demokratie war der ganze Punkt. Galton erwartete, dass die vox populi — die Stimme des Volkes — sich blamieren würde.

Ein Landmarkt, ein fetter Ochse und 787 Sechspence-Tickets

Die Mechanik des Wettbewerbs war einfach und — wie wir jetzt wissen — zufällig nahe an einem idealen experimentellen Design. Ein lebender Ochse war ausgestellt. Für sechs Pence konnte jeder eine gestempelte und nummerierte Karte kaufen, seinen Namen und seine Adresse darauf schreiben und seine Schätzung abgeben, wie viel der Ochse nach dem Schlachten und Ausnehmen wiegen würde — die kommerziell bedeutende Zahl und eine schwierigere Frage als das lebende Gewicht des Tieres. Die genauesten Schätzungen gewannen Preise.

Drei Merkmale dieser Einrichtung verdienen Aufmerksamkeit, da jedes auf eine Bedingung verweist, die spätere Forschungen als wesentlich für kollektive Genauigkeit zeigen würden. Erstens filterte die Sechspence-Gebühr reine Spaßvögel heraus — die Leute hatten etwas zu verlieren. Zweitens wurde jede Karte privat ausgefüllt: Es gab keine Handzeichen, keinen Auktionator, der einen laufenden Konsens ausrief, keinen sichtbaren Favoriten, den man kopieren konnte. Die Urteile waren unabhängig. Drittens war die Menge wirklich gemischt: Metzger und Landwirte mit beruflicher Expertise standen neben Angestellten und Familien, die, in Galtons Worten, von der Laune des Moments geleitet wurden. Die Urteile waren vielfältig.

Nach dem Wettbewerb lieh sich Galton die Karten aus. Von etwa 800 waren dreizehn unleserlich oder anderweitig fehlerhaft, was 787 gültige Schätzungen hinterließ. Er sortierte sie, tabulierte sie, plottete ihre Verteilung und berechnete ihre Quantile — eine vollständige statistische Auswertung, veröffentlicht in Nature am 7. März 1907 unter dem Titel „Vox Populi“ (Galton, F., Nature, 75, 450–451).

Das Ergebnis, das ihn überraschte

Die mittlere Schätzung — was wir jetzt den Median nennen — betrug 1.207 Pfund. Der Ochse, geschlachtet und ausgenommen, wog 1.198 Pfund. Das kollektive Urteil der Menge lag um neun Pfund daneben: ein Fehler von etwa 0,8%, näher als die Schätzungen der anwesenden Viehexperten.

Galton — zu seinem echten Verdienst als Wissenschaftler — berichtete das Ergebnis direkt. „Dieses Ergebnis ist, denke ich, glaubwürdiger für die Vertrauenswürdigkeit eines demokratischen Urteils, als man hätte erwarten können“, schrieb er. Aus dem Mund eines Mannes, der seine Karriere damit verbracht hatte, zu argumentieren, dass gesundes Urteilsvermögen ein seltenes erbliches Geschenk sei, ist der Satz ein stiller wissenschaftlicher Zugeständnis: Die Daten hatten seine vorherige Annahme übertroffen.

Die Geschichte wurde besser in der Korrespondenz, die folgte. Leser von Nature schrieben, und in seiner Antwort („Die Wahlurne“, Nature, 75, 509) erkannte Galton an, dass der arithmetische Mittelwert aller 787 Schätzungen 1.197 Pfund betrug — ein Pfund vom tatsächlichen Gewicht entfernt. Ein Jahrhundert später ging der Ökonom Kenneth Wallis („Francis Galtons Vorhersagewettbewerb neu besuchen“, 2014) die ursprünglichen Daten und den umgebenden Austausch durch und bestätigte die wesentlichen Punkte der Geschichte, die James Surowiecki berühmt gemacht hatte. Der ein Pfund Fehler des Mittelwerts ist die Version, die heute normalerweise zitiert wird; der neun Pfund Fehler des Medians ist das, womit Galton tatsächlich begann. Beide sind erstaunlich.

Median oder Mittelwert? Galtons statistische Wahl ist immer noch wichtig

Warum bevorzugte Galton die mittlere Schätzung? Sein Argument war ausdrücklich politisch: Der Median ist der Wert, den eine Mehrheit der Menge in einer Abstimmung ratifizieren würde. Jeder andere Wert würde von denen überstimmt, die ihn für zu hoch oder zu niedrig hielten. Der Median ist mit anderen Worten das demokratische Urteil der Menge — was genau die Frage über die vox populi war, die er testen wollte.

Aber es gibt ein statistisches Argument, das sich im politischen versteckt, und es wird bis heute gelehrt. Der Median ist eine robuste Statistik: Eine Handvoll absurder Schätzungen — jemand, der 10.000 Pfund zum Spaß schreibt — bewegt ihn kaum, während der Mittelwert von einem einzigen Ausreißer beliebig weit gezogen werden kann. Der Mittelwert hingegen nutzt mehr Informationen aus den Daten und hebt, wenn Fehler ungefähr symmetrisch und unabhängig sind, effizienter auf. Galtons Menge war gut genug, dass beide funktionierten: der Median verfehlte um 9 lb, der Mittelwert um 1 lb. In unordentlichen Mengen — Online-Umfragen, unmoderierte Foren — gewinnt oft die Robustheit des Medians. Die Wahl Ihres Aggregationsmechanismus ist eine Entscheidung darüber, wie sehr Sie den Extremwerten Ihrer Menge vertrauen.

Warum Durchschnittsbildung funktioniert: die Arithmetik der Fehleraufhebung

Es gibt keinen Mystizismus in Galtons Ergebnis. Jede Schätzung kann als der wahre Wert plus einem Fehler betrachtet werden. Wenn die Fehler unabhängig und auf beiden Seiten der Wahrheit verstreut sind — einige Metzger überschätzen, einige unterschätzen — dann hebt das Addieren der Schätzungen viel des Fehlers auf, während das gemeinsame Signal sich ansammelt. Je vielfältiger und unabhängiger die Fehler sind, desto aggressiver heben sie sich auf.

Scott Page formalisiert später die Intuition als das Diversitätsvorhersage-Theorem (Page, The Difference, 2007): Für quadratische Fehler entspricht der Fehler des Kollektivs dem durchschnittlichen individuellen Fehler minus die Vielfalt der Vorhersagen. Es ist eine mathematische Identität, kein empirischer Anspruch — was es so nützlich macht. Eine Menge übertrifft ihr durchschnittliches Mitglied genau so viel, wie sich ihre Mitglieder untereinander uneinig sind. Vielfalt ist kein nettes Extra; sie ist, arithmetisch, der gesamte Vorteil. Eine Menge von Klonen gewinnt nichts durch Aggregation.

Die gleiche Logik war mehr als ein Jahrhundert vor Galton entdeckt worden, für Ja/Nein-Fragen statt für Mengen. Der Marquis de Condorcet bewies 1785, dass, wenn jeder Wähler sogar nur geringfügig wahrscheinlicher als Zufall richtig ist und die Wähler unabhängig urteilen, die Wahrscheinlichkeit, dass die Mehrheit richtig ist, mit wachsender Gruppengröße zur Sicherheit steigt. Wir erzählen diese Geschichte — und die dramatischen Wege, auf denen das Theorem versagt, wenn seine Annahmen brechen — in unserem Begleitstück zum Condorcet-Jury-Theorem.

Von der Fußnote zum Rahmenwerk: Surowieckis vier Bedingungen

Im größten Teil des zwanzigsten Jahrhunderts war Galtons Ochse eine statistische Kuriosität. Das änderte sich 2004, als James Surowiecki The Wisdom of Crowds mit der Plymouth-Geschichte eröffnete und ein Jahrhundert an Beweisen zusammenstellte — von Aktienmärkten bis zu Suchmaschinen — dass Massen systematisch klug sein können. Entscheidend ist, dass Surowiecki nicht behauptete, Massen seien immer weise. Er identifizierte vier Bedingungen, die Galtons Messe zufällig erfüllte und die jede weise Menge absichtlich benötigt:

Entferne eine Bedingung, und die Menge verliert nicht nur ihren Vorteil — sie kann aktiv schlechter werden als ihre Mitglieder, weil die Aggregation dann eine gemeinsame Voreingenommenheit verstärkt, anstatt unabhängige Fehler aufzuheben. Für die vollständige Wissenschaft der vier Bedingungen und ihrer Versagensmodi siehe unseren Leitfaden zur Weisheit der Massen.

Das Kleingedruckte: Was die Messe richtig gemacht hat, was Besprechungen falsch machen

Hier ist die unangenehme Frage für jeden, der Besprechungen leitet: Wie viele Gruppenentscheidungen in Ihrer Organisation sind so strukturiert wie Galtons Messe — und wie viele sind so strukturiert wie das genaue Gegenteil?

Auf der Messe wurde jedes Urteil privat, schriftlich, abgegeben, bevor jemand die Zahl eines anderen sah. In einer typischen Besprechung spricht die ranghöchste oder selbstbewussteste Person zuerst, und jede nachfolgende „Schätzung“ wird an ihrer festgemacht. Was wie dreißig Menschen aussieht, die zustimmen, ist oft die Schätzung einer Person mit neunundzwanzig Echos. Ökonomen nennen den Mechanismus eine Informationskaskade: Sobald einige frühe Meinungen sichtbar sind, wird es für jede nachfolgende Person individuell rational, ihre eigenen Informationen abzuwerten und zu kopieren — und die Unabhängigkeit der Menge, die tragende Bedingung des gesamten Phänomens, bricht leise zusammen (Bikhchandani, Hirshleifer & Welch, 1992). Wir behandeln die Mechanik in unserem Leitfaden zu Informationskaskaden.

Das ist auch der Grund, warum Replikationen von Galtons Experiment manchmal enttäuschen: Führen Sie das Ochsen-Schätzspiel mit einem sichtbaren laufenden Durchschnitt durch oder lassen Sie die Teilnehmer ihre Schätzungen rufen, und die Genauigkeit verschlechtert sich. Die Magie lag nie in der Menge — sie lag im Protokoll. Sechspence, eine private Karte und eine verschlossene Wahlurne erweisen sich als bessere Entscheidungsarchitektur als die meisten Konferenzräume.

Moderne Nachkommen des Ochsen

Das Aggregationsprinzip, das Galton dokumentierte, zieht sich jetzt durch eine bemerkenswerte Reihe moderner Systeme:

Jeder Nachkomme aggregiert etwas anderes — Märkte aggregieren Überzeugungen in Preise, Ensembles aggregieren Modelloutputs in Vorhersagen, Abstimmungssysteme aggregieren Präferenzen in Ergebnisse — und jeder erbt die gleiche Abhängigkeit: Das Aggregat ist nur so gut wie die Unabhängigkeit und Vielfalt dessen, was es speist. Diese familiäre Ähnlichkeit ist der rote Faden der gesamten Forschungstradition, vom Theorem von Condorcet aus dem Jahr 1785 bis zur Forschung zur kollektiven Intelligenz des MIT Center for Collective Intelligence heute — ein 240-jähriger Bogen, den wir in Kollektive Intelligenz: 240 Jahre Forschung nachzeichnen.

Was Galtons Ochse für Ihr Team bedeutet

Die praktische Übersetzung des Experiments von 1906 ist eine kurze Checkliste, und sie gilt an einem bestimmten Punkt im Leben einer Entscheidung — dem Moment, in dem Sie Urteile sammeln und kombinieren, bevor die Gruppe mit der Diskussion beginnt:

• Schätzen Sie unabhängig, schriftlich, zuerst. Vor dem Treffen, bevor die ranghöhere Person spricht. In dem Moment, in dem Urteile sichtbar werden, beginnt die Unabhängigkeit — und der statistische Vorteil der Menge — zu schwinden.
• Rekrutieren Sie aktiv vielfältige Perspektiven. Der Diversitätsvorhersage-Satz ist klar: Ihr kollektiver Vorteil gegenüber Ihrem durchschnittlichen Mitglied ist Ihre Vielfalt. Ein Gremium von Personen mit demselben Hintergrund und denselben Informationen ist eine Vermutung mit vielen Namensschildern.
• Wählen Sie Ihren Aggregationsmechanismus bewusst. Median für unordentliche Gruppen, Mittelwert für gut benommene, strukturierte Bewertung, wenn Urteile mehrere Dimensionen haben. „Wir haben darüber diskutiert und einen Konsens erreicht“ ist kein Aggregationsmechanismus — es ist normalerweise ein Ankermechanismus.
• Behalten Sie die Gründe, nicht nur die Zahlen. Galtons Karten sagten ihm was die Menge dachte, nie warum. Für einen Ochsen ist das in Ordnung. Für eine strategische Entscheidung ist das Denken der Teil, den Sie benötigen, wenn sich die Umstände ändern.

Dieser letzte Punkt ist der, an dem modernes kollaboratives Entscheiden über Galton hinausgeht. Argumentree ist darauf ausgelegt, einem Team das Messeprotokoll mit der Argumentation zu geben: Die Teilnehmer tragen Argumente unabhängig und asynchron — bevor der Raum konvergiert — in einen strukturierten Pro-/Contra-Baum ein; die Gruppe bewertet dann jedes Argument nach expliziten Dimensionen (Hilfreichkeit, Klarheit, Genauigkeit, Vollständigkeit), und die Bewertungen aggregieren sich in Konsenswerte, so wie 787 Karten in 1.207 Pfund aggregiert wurden. Anonyme Beitragsoptionen schützen die Unabhängigkeit vor Hierarchie, und die vollständige Prüfspur bewahrt das, was der Ochsenwettbewerb nie konnte: das warum hinter der Zahl.

Galton ging zu einer Messe, um zu beweisen, dass gewöhnliches Urteil nicht vertrauenswürdig sein konnte. Er ging mit dem stärksten Beweis, den bisher jemand erbracht hatte, dass — korrekt aggregiert — es das kann. Das Instrument hat sich von einer Wahlurne zu Software geändert. Die Lektion ist geblieben.