Wisdom of Crowds: Galton's Ox — The 1906 Experiment That Proved Crowds Beat Experts

বিজ্ঞানী যিনি ভিড়কে বোকা প্রমাণ করতে চেয়েছিলেন

সমষ্টিগত বুদ্ধিমত্তার সবচেয়ে বিখ্যাত পরীক্ষার সেরা অংশ হল এটি ডিজাইন করা হয়েছিল — অন্তত আত্মায় — যা এটি খুঁজে পেয়েছিল তার বিপরীত প্রমাণ করার জন্য।

১৯০৬ সালের মধ্যে, ফ্রান্সিস গ্যালটন ব্রিটেনের সবচেয়ে সফল বিজ্ঞানীদের একজন ছিলেন। চার্লস ডারউইনের এক আত্মীয়, তিনি সম্পর্ক এবং গড়ের জন্য রিগ্রেশন পরিসংখ্যানগত ধারণাগুলির প্রবর্তক ছিলেন, আবহাওয়ার মানচিত্র আবিষ্কার করেছিলেন এবং আঙুলের ছাপ শনাক্তকরণকে বৈজ্ঞানিক ভিত্তিতে প্রতিষ্ঠিত করেছিলেন। তিনি ছিলেন — এবং এটি গল্পের জন্য গুরুত্বপূর্ণ — সাধারণ মানুষের বিচার সম্পর্কে গভীরভাবে সন্দেহবাদী। গ্যালটন বিশ্বাস করতেন যে বুদ্ধিমত্তা একটি ছোট উত্তরাধিকারী এলিটে কেন্দ্রীভূত; তিনি “ইউজেনিক্স” শব্দটি তৈরি করেছিলেন এবং এটি প্রচার করতে দশক কাটিয়েছিলেন, একটি ঐতিহ্য যা আজ সঠিকভাবে নিন্দিত এবং এই প্রশ্নের প্রতি তার দৃষ্টিভঙ্গির সাথে অঙ্গীভূত। যখন তিনি তার পরিসংখ্যানগত সরঞ্জাম একটি ভিড়ের উপর চালু করেন, তিনি তার অযোগ্যতা নথিভুক্ত করার আশা করেছিলেন।

তাহলে যখন ৮৪ বছর বয়সী গ্যালটন ১৯০৬ সালের শরতে প্লাইমাউথে পশ্চিম ইংল্যান্ডের ফ্যাট স্টক এবং পোল্ট্রি প্রদর্শনীতে ঘুরে বেড়াচ্ছিলেন এবং একটি ওজন-নির্ধারণ প্রতিযোগিতার মুখোমুখি হলেন, তিনি একটি অপ্রতিরোধ্য তথ্য সেট দেখলেন। এখানে একটি ভিড় ছিল — কিছু বিশেষজ্ঞ, বেশিরভাগ নয় — একটি বাস্তব বিষয় সম্পর্কে শত শত স্বাধীন সংখ্যাগত বিচার তৈরি করছে, একটি ছোট প্রবেশ ফি তাদের সৎ রাখতে এবং একটি পুরস্কার তাদের উত্সাহিত রাখতে। যেমন তিনি পরে নেচার এ লিখেছিলেন, গড় প্রতিযোগী সম্ভবত গরুর বিচার করার জন্য গড় ভোটারের মতোই উপযুক্ত। গণতন্ত্রের সাথে তুলনা পুরো পয়েন্ট ছিল। গ্যালটন আশা করেছিলেন যে ভক্স পপুলি — জনগণের কণ্ঠস্বর — নিজেকে লজ্জিত করবে।

একটি দেশীয় মেলা, একটি মোটা গরু, এবং ৭৮৭টি ছয়পেনি টিকিট

প্রতিযোগিতার মেকানিক্সটি সহজ ছিল, এবং — যেমন আমরা এখন জানি — দুর্ঘটনাক্রমে আদর্শ পরীক্ষামূলক ডিজাইনের কাছে ছিল। একটি জীবন্ত গরু প্রদর্শিত হচ্ছিল। ছয়পেন্সের জন্য, যে কেউ একটি স্ট্যাম্প করা এবং নম্বরযুক্ত কার্ড কিনতে পারতেন, তাতে তাদের নাম এবং ঠিকানা লিখতে পারতেন এবং গরুটি কাটা এবং পোশাক পরা হলে এটি কত ওজন হবে তা অনুমান করতে পারতেন — বাণিজ্যিকভাবে অর্থপূর্ণ সংখ্যা, এবং প্রাণীর জীবন্ত ওজনের চেয়ে কঠিন প্রশ্ন। সবচেয়ে সঠিক অনুমানগুলি পুরস্কার জিতেছিল।

এই সেটআপের তিনটি বৈশিষ্ট্য মনোযোগ আকর্ষণ করে, কারণ প্রতিটি একটি শর্তের সাথে মানচিত্র করে যা পরবর্তী গবেষণা দেখাবে যে এটি সম্মিলিত সঠিকতার জন্য অপরিহার্য। প্রথমত, ছয়পেনি ফি বিশুদ্ধ ব্যবহারিক জোকারের বাইরে ফিল্টার করে — মানুষের খেলায় ত্বক ছিল। দ্বিতীয়ত, প্রতিটি কার্ড ব্যক্তিগতভাবে পূরণ করা হয়েছিল: হাত তোলার কোন প্রদর্শন ছিল না, কোন নিলামকারী চলমান সম্মতি ঘোষণা করছিলেন না, অনুকরণ করার জন্য কোন দৃশ্যমান ফ্রন্টরানার ছিল না। বিচারগুলি স্বাধীন ছিল। তৃতীয়ত, ভিড়টি সত্যিই মিশ্রিত ছিল: পেশাদার দক্ষতার সাথে মাংস বিক্রেতা এবং কৃষক গ্যালটনের শব্দে, মুহূর্তের ফ্যান্টাসির দ্বারা পরিচালিত ক্লার্ক এবং পরিবারের পাশে দাঁড়িয়েছিলেন। বিচারগুলি বৈচিত্র্যময় ছিল।

প্রতিযোগিতার পরে, গ্যালটন কার্ডগুলি ধার করেছিলেন। প্রায় ৮০০টির মধ্যে, তেরোটি অযোগ্য বা অন্যভাবে ত্রুটিপূর্ণ ছিল, ৭৮৭টি বৈধ অনুমান রেখে। তিনি সেগুলি সাজিয়েছিলেন, সেগুলির টেবিল তৈরি করেছিলেন, তাদের বিতরণ চিত্রিত করেছিলেন এবং তাদের কুয়ান্টাইল গণনা করেছিলেন — একটি সম্পূর্ণ পরিসংখ্যানগত কাজ, যা ৭ মার্চ ১৯০৭ সালে নেচার এ “ভক্স পপুলি” শিরোনামে প্রকাশিত হয় (গ্যালটন, এফ., নেচার, ৭৫, ৪৫০–৪৫১)।

ফলাফল যা তাকে অবাক করেছিল

মধ্যম অনুমান — যা আমরা এখন মধ্যম বলি — ছিল ১,২০৭ পাউন্ড। গরুটি, কাটা এবং পোশাক পরা, ওজন ছিল ১,১৯৮ পাউন্ড। ভিড়ের সম্মিলিত রায় নয় পাউন্ডের দ্বারা ভুল ছিল: প্রায় ০.৮% এর একটি ত্রুটি, উপস্থিত গবাদি পশুর বিশেষজ্ঞদের অনুমানের তুলনায় কাছাকাছি।

গ্যালটন — একজন বিজ্ঞানী হিসেবে তার সত্যিকার কৃতিত্বের জন্য — ফলাফলটি সোজা রিপোর্ট করেছিলেন। “এই ফলাফলটি, আমি মনে করি, গণতান্ত্রিক বিচারকে বিশ্বাসযোগ্যতার দিক থেকে প্রত্যাশার চেয়ে বেশি সম্মানজনক,” তিনি লিখেছিলেন। একজন মানুষের কাছ থেকে আসা যিনি তার ক্যারিয়ার কাটিয়েছেন যে সঠিক বিচার একটি বিরল উত্তরাধিকারী উপহার, বাক্যটি একটি নীরব বৈজ্ঞানিক স্বীকৃতি: তথ্য তার পূর্ববর্তীকে পরাজিত করেছে।

গল্পটি পরবর্তী চিঠিপত্রে আরও ভাল হয়ে উঠল। নেচার এর পাঠকরা লিখলেন, এবং তার উত্তর (“দ্য ব্যালট-বক্স,” নেচার, ৭৫, ৫০৯) গ্যালটন স্বীকার করেছিলেন যে সমস্ত ৭৮৭টি অনুমানের গাণিতিক গড় ছিল ১,১৯৭ পাউন্ড — সত্যিকারের ওজনের এক পাউন্ড। এক শতাব্দী পরে, অর্থনীতিবিদ কেনেথ ওয়ালিস (“ফ্রান্সিস গ্যালটনের ভবিষ্যদ্বাণী প্রতিযোগিতা পুনর্বিবেচনা,” ২০১৪) মূল তথ্য এবং আশেপাশের বিনিময়টি পুনরায় পর্যালোচনা করেন, যা জেমস সুরোভিয়েকির বিখ্যাত গল্পের মৌলিক বিষয়গুলি নিশ্চিত করে। গড়ের এক পাউন্ডের মিসটি আজ সাধারণত উদ্ধৃত হয়; মধ্যমের নয় পাউন্ডের মিসটি গ্যালটন আসলে নেতৃত্ব দিয়েছিলেন। উভয়ই আশ্চর্যজনক।

মধ্যম বা গড়? গ্যালটনের পরিসংখ্যানগত পছন্দ এখনও গুরুত্বপূর্ণ

গ্যালটন কেন মধ্যম অনুমানকে পছন্দ করেছিলেন? তার যুক্তি স্পষ্টভাবে রাজনৈতিক ছিল: মধ্যম হল সেই মান যা ভিড়ের একটি সংখ্যাগরিষ্ঠ ভোটে অনুমোদন করবে। অন্য প্রতিটি মান তাদের যারা এটি খুব উচ্চ বা খুব নিম্ন মনে করে তাদের দ্বারা ভোটে পরাজিত হবে। মধ্যম, অন্য কথায়, ভিড়ের গণতান্ত্রিক রায় — যা ছিল ঠিক সেই প্রশ্ন যা ভক্স পপুলি তিনি পরীক্ষা করতে চেয়েছিলেন।

কিন্তু রাজনৈতিক যুক্তির ভিতরে একটি পরিসংখ্যানগত যুক্তি লুকিয়ে আছে, এবং এটি এখনও আজ শেখানো হয়। মধ্যম একটি মজবুত পরিসংখ্যান: কয়েকটি অযৌক্তিক অনুমান — কেউ ১০,০০০ পাউন্ড লিখে হাসির জন্য — এটি সামান্যই সরিয়ে দেয়, যেখানে গড় একটি একক আউটলায়ার দ্বারা অযৌক্তিকভাবে দূরে টানা যেতে পারে। অন্যদিকে, গড় তথ্যের আরও অনেক কিছু ব্যবহার করে এবং, যখন ত্রুটিগুলি প্রায় সমমুখী এবং স্বাধীন হয়, তখন সেগুলি আরও কার্যকরভাবে বাতিল করে। গ্যালটনের ভিড় এতটা ভাল আচরণ করেছিল যে উভয়ই কাজ করেছিল: মধ্যম ৯ পাউন্ড মিস করেছিল, গড় ১ পাউন্ড। অগোছালো ভিড়ের মধ্যে — অনলাইন ভোট, অ-মডারেটেড ফোরাম — মধ্যমের মজবুততা প্রায়ই জয়ী হয়। আপনার একত্রিতকরণের মেকানিজম নির্বাচন করা একটি সিদ্ধান্ত যে আপনি আপনার ভিড়ের প্রান্তগুলিতে কতটা বিশ্বাস করেন।

গড় কেন কাজ করে: ত্রুটি বাতিলের গাণিতিক

গ্যালটনের ফলাফলে কোন রহস্য নেই। প্রতিটি অনুমানকে সত্যিকারের মানের সাথে একটি ত্রুটি হিসাবে ভাবা যেতে পারে। যদি ত্রুটিগুলি স্বাধীন এবং সত্যের উভয় পাশে ছড়িয়ে থাকে — কিছু মাংস বিক্রেতা অতিরিক্ত মূল্যায়ন করে, কিছু কম মূল্যায়ন করে — তাহলে অনুমানগুলিকে একত্রিত করা অনেক ত্রুটিকে বাতিল করে যখন শেয়ার করা সংকেত জমা হয়। যত বেশি বৈচিত্র্যময় এবং স্বাধীন ত্রুটিগুলি, তত বেশি আক্রমণাত্মকভাবে সেগুলি বাতিল হয়।

স্কট পেজ পরে অন্তর্দৃষ্টি হিসাবে বৈচিত্র্য ভবিষ্যদ্বাণী থিওরেম (পেজ, দ্য ডিফারেন্স, ২০০৭) আনুষ্ঠানিকভাবে প্রমাণিত করেছেন: বর্গাকার ত্রুটির জন্য, সম্মিলিতের ত্রুটি গড় ব্যক্তিগত ত্রুটি বিয়োগ ভবিষ্যদ্বাণীর বৈচিত্র্য। এটি একটি গাণিতিক পরিচয়, একটি অভিজ্ঞ দাবি নয় — যা এটিকে এত উপকারী করে। একটি ভিড় তার গড় সদস্যকে ঠিক ততটাই হারায় যতটা তার সদস্যরা একে অপরের সাথে অমিল। বৈচিত্র্য একটি সুন্দর-থাকতে-হবে; এটি, গাণিতিকভাবে, পুরো সুবিধা। ক্লোনের একটি ভিড় একত্রিতকরণ থেকে কিছুই পায় না।

একই যুক্তি গ্যালটনের এক শতাব্দী আগে, পরিমাণের পরিবর্তে হ্যাঁ/না প্রশ্নের জন্য আবিষ্কৃত হয়েছিল। মার্কিস দে কন্ডর্সেট ১৭৮৫ সালে প্রমাণ করেছিলেন যে যদি প্রতিটি ভোটার সুযোগের চেয়ে সামান্য বেশি সঠিক হওয়ার সম্ভাবনা থাকে এবং ভোটাররা স্বাধীনভাবে বিচার করে, তবে সংখ্যাগরিষ্ঠের সঠিক হওয়ার সম্ভাবনা গোষ্ঠী বাড়ার সাথে সাথে নিশ্চিততার দিকে বাড়ে। আমরা সেই গল্পটি বলি — এবং থিওরেমটি ভেঙে পড়লে নাটকীয় উপায়গুলি — আমাদের সহযোগী টুকরোতে কন্ডর্সেট জুরি থিওরেম।

ফুটনোট থেকে কাঠামো: সুরোভিয়েকির চারটি শর্ত

বিশ শতকের বেশিরভাগ সময়, গ্যালটনের গরু একটি পরিসংখ্যানগত কৌতূহল ছিল। ২০০৪ সালে, জেমস সুরোভিয়েকি দ্য উইজডম অফ ক্রাউডস বইটি প্লাইমাউথের গল্প দিয়ে শুরু করেন এবং শতাব্দীর প্রমাণ সংগ্রহ করেন — শেয়ার বাজার থেকে শুরু করে সার্চ ইঞ্জিন পর্যন্ত — যে ভিড়গুলি সিস্টেম্যাটিকভাবে স্মার্ট হতে পারে। গুরুত্বপূর্ণভাবে, সুরোভিয়েকি দাবি করেননি যে ভিড় সর্বদা বুদ্ধিমান। তিনি চারটি শর্ত চিহ্নিত করেছেন যা গ্যালটনের মেলা দুর্ঘটনাক্রমে পূরণ করেছিল, এবং যে কোনও বুদ্ধিমান ভিড়ের উদ্দেশ্যে প্রয়োজন:

যেকোন একটি শর্ত সরিয়ে ফেললে ভিড় কেবল তার প্রান্ত হারায় না — এটি তার সদস্যদের চেয়ে সক্রিয়ভাবে খারাপ হয়ে উঠতে পারে, কারণ একত্রিতকরণ তখন একটি শেয়ার করা পক্ষপাতকে বাড়িয়ে তোলে স্বাধীন ত্রুটিগুলি বাতিল করার পরিবর্তে। চারটি শর্ত এবং তাদের ব্যর্থতার মোডগুলির সম্পূর্ণ বিজ্ঞানের জন্য, আমাদের ভিড়ের জ্ঞান গাইড দেখুন।

ছোট অক্ষর: মেলা যা সঠিকভাবে পেয়েছিল তা বৈঠকগুলি ভুল পায়

এটি যে কারও জন্য অস্বস্তিকর প্রশ্ন: আপনার সংস্থায় কতগুলি গোষ্ঠী সিদ্ধান্ত গ্যালটনের মেলার মতো কাঠামোবদ্ধ — এবং কতগুলি সম্পূর্ণ বিপরীতভাবে কাঠামোবদ্ধ?

মেলায়, প্রতিটি বিচার ব্যক্তিগতভাবে, লিখিতভাবে, অন্য কেউ অন্যের সংখ্যা দেখার আগে প্রতিশ্রুতিবদ্ধ ছিল। একটি সাধারণ বৈঠকে, সবচেয়ে সিনিয়র বা সবচেয়ে আত্মবিশ্বাসী ব্যক্তি প্রথমে কথা বলেন, এবং প্রতিটি পরবর্তী “অনুমান” তাদের উপর নোঙ্গরিত হয়। যা তিরিশ জনের একমত দেখায় তা প্রায়ই একজন ব্যক্তির অনুমান এবং উনিশটি প্রতিধ্বনি। অর্থনীতিবিদরা এই মেকানিজমটিকে তথ্য ক্যাসকেড বলে: একবার কয়েকটি প্রাথমিক মতামত দৃশ্যমান হলে, প্রতিটি পরবর্তী ব্যক্তির জন্য এটি ব্যক্তিগতভাবে যুক্তিসঙ্গত হয়ে ওঠে তাদের নিজস্ব তথ্যকে অগ্রাহ্য করা এবং অনুকরণ করা — এবং ভিড়ের স্বাধীনতা, পুরো ঘটনাটির বোঝার শর্ত, নীরবে ভেঙে পড়ে (বিখচন্দানি, হিরশলিফার এবং ওয়েলচ, ১৯৯২)। আমরা আমাদের তথ্য ক্যাসকেড গাইডে মেকানিক্সটি কভার করি।

এটি কেন গ্যালটনের পরীক্ষার পুনরাবৃত্তি কখনও কখনও হতাশ করে: দৃশ্যমান চলমান গড়ের সাথে গরু অনুমান করার খেলা চালান, বা অংশগ্রহণকারীদের তাদের অনুমান চিৎকার করতে দিন, এবং সঠিকতা অবনতি হয়। জাদু কখনও ভিড়ের মধ্যে ছিল না — এটি প্রোটোকল এ ছিল। ছয়পেন্স, একটি ব্যক্তিগত কার্ড, এবং একটি লক করা ব্যালট বাক্স প্রমাণিত হয় যে বেশিরভাগ সম্মেলন কক্ষের চেয়ে ভাল সিদ্ধান্তের স্থাপত্য।

গরুর আধুনিক উত্তরসূরি

গ্যালটন যে একত্রিতকরণের নীতি নথিভুক্ত করেছিলেন তা এখন আধুনিক সিস্টেমের একটিRemarkable পরিসরে চলে:

প্রতিটি উত্তরসূরি কিছু ভিন্ন একত্রিত করে — বাজার বিশ্বাসকে দামে একত্রিত করে, এনসেম্বল মডেল আউটপুটকে পূর্বাভাসে একত্রিত করে, ভোটিং সিস্টেম পছন্দকে ফলাফলে একত্রিত করে — এবং প্রতিটি একই নির্ভরতা উত্তরাধিকারী: একত্রিতকরণটি কেবল ততটাই ভাল যতটা এটি যা খাওয়ায় তার স্বাধীনতা এবং বৈচিত্র্য। সেই পারিবারিক সাদৃশ্য হল পুরো গবেষণা ঐতিহ্যের থ্রু-লাইন, কন্ডর্সেটের ১৭৮৫ সালের থিওরেম থেকে শুরু করে এমআইটির কেন্দ্রের সম্মিলিত বুদ্ধিমত্তার গবেষণা পর্যন্ত — একটি ২৪০ বছরের আর্ক যা আমরা সম্মিলিত বুদ্ধিমত্তা: ২৪০ বছরের গবেষণা এ চিহ্নিত করি।

গ্যালটনের গরু আপনার দলের জন্য কী অর্থ রাখে

১৯০৬ সালের পরীক্ষার কার্যকর অনুবাদ একটি সংক্ষিপ্ত চেকলিস্ট, এবং এটি একটি সিদ্ধান্তের জীবনের একটি নির্দিষ্ট মুহূর্তে প্রযোজ্য — যখন আপনি বিচার সংগ্রহ এবং একত্রিত করেন, আলোচনা শুরু করার আগে:

• প্রথমে স্বাধীনভাবে, লিখিতভাবে, অনুমান সংগ্রহ করুন। সভার আগে, সিনিয়র ব্যক্তির কথা বলার আগে। যখন সিদ্ধান্তগুলি দৃশ্যমান হতে শুরু করে, স্বাধীনতা — এবং জনতার পরিসংখ্যানগত সুবিধা — ক্ষয় হতে শুরু করে।
• বিভিন্ন দৃষ্টিভঙ্গি সক্রিয়ভাবে নিয়োগ করুন। বৈচিত্র্য পূর্বাভাস তত্ত্বটি স্পষ্ট: আপনার গড় সদস্যের উপর আপনার সম্মিলিত সুবিধা হলো আপনার বৈচিত্র্য। একই পটভূমি এবং একই তথ্যের সাথে একটি প্যানেল হল একাধিক নামের ট্যাগ পরিহিত একটি অনুমান।
• আপনার একত্রিতকরণ পদ্ধতি সচেতনভাবে নির্বাচন করুন। বিশৃঙ্খল ভিড়ের জন্য গড়, সু-শৃঙ্খল ভিড়ের জন্য গড়, যখন সিদ্ধান্তের একাধিক মাত্রা থাকে তখন কাঠামোবদ্ধ রেটিং। “আমরা এটি আলোচনা করেছি এবং ঐক্যমতReached” একটি একত্রিতকরণ পদ্ধতি নয় — এটি সাধারণত একটি নোঙ্গর পদ্ধতি।
• কারণগুলো রাখুন, শুধু সংখ্যা নয়। গ্যালটনের কার্ডগুলো তাকে কি ভিড় ভাবছে বলেছিল, কখনো কেন নয়। একটি গরুর জন্য, এটি ঠিক আছে। একটি কৌশলগত সিদ্ধান্তের জন্য, যুক্তি হল সেই অংশ যা আপনাকে প্রয়োজন হবে যখন পরিস্থিতি পরিবর্তিত হয়।

শেষ পয়েন্টটি হল আধুনিক সহযোগী সিদ্ধান্ত গ্রহণ গ্যালটনের চেয়ে এগিয়ে যায়। আর্গুমেন্ট্রি একটি দলের জন্য মেলা প্রোটোকল দেওয়ার জন্য তৈরি করা হয়েছে যুক্তি সংযুক্ত: অংশগ্রহণকারীরা স্বাধীনভাবে এবং অ্যাসিঙ্ক্রোনাসভাবে — কক্ষটি একত্রিত হওয়ার আগে — একটি কাঠামোগত প্রো/কন গাছের মধ্যে যুক্তি প্রদান করে; তারপর গোষ্ঠী প্রতিটি যুক্তিকে স্পষ্ট মাত্রায় (সাহায্য, স্পষ্টতা, সঠিকতা, সম্পূর্ণতা) রেট করে, এবং রেটিংগুলি সম্মতি স্কোরে একত্রিত হয় যেমন ৭৮৭টি কার্ড ১,২০৭ পাউন্ডে একত্রিত হয়। অজ্ঞাত অবদান বিকল্পগুলি হায়ারার্কি থেকে স্বাধীনতা রক্ষা করে, এবং সম্পূর্ণ অডিট ট্রেইল যা গরুর প্রতিযোগিতা কখনও করতে পারেনি তা সংরক্ষণ করে: সংখ্যার পিছনে কেন।

গ্যালটন একটি মেলায় গিয়েছিলেন প্রমাণ করতে যে সাধারণ বিচারকে বিশ্বাস করা যায় না। তিনি চলে এসেছিলেন সবচেয়ে শক্তিশালী প্রমাণ নিয়ে যে — সঠিকভাবে একত্রিত হলে — এটি করা যায়। যন্ত্রটি একটি ব্যালট বাক্স থেকে সফটওয়্যারে পরিবর্তিত হয়েছে। পাঠটি পরিবর্তিত হয়নি।