کیا منظم غور و فکر واقعی میں ایک گروپ کے خیالات کو تبدیل کرتا ہے؟
ایک پری رجسٹرڈ تجربہ جو اکتوبر 2024 میں سائنس میں شائع ہوا (ٹیسلر وغیرہ، سائنس 386، ایڈ کیو2852) نے براہ راست 5,734 برطانوی شرکاء کے ساتھ اس کی جانچ کی۔ ایک گروپ کے شرکاء نے متنازعہ سوالات پر ایک دوسرے کی تحریری آراء پڑھی؛ گروپ کی رضامندی بالکل نہیں بدلی (b = -0.005، P = 0.64)۔ موازنہ گروپ جن کی آراء کو ایک امیدوار گروپ بیان میں مرتب کیا گیا، درجہ بند کیا گیا، تنقید کی گئی اور دوبارہ لکھا گیا، تقریباً آٹھ فیصد پوائنٹس تک متفق ہوئے، اور گروپوں کی تعداد جو یکجہتی تک پہنچی وہ 22.8% سے بڑھ کر 38.6% ہوگئی۔ دونوں حالات کے درمیان فرق شماریاتی طور پر اہم تھا (P = 0.0058)۔ ترکیب ایک AI نظام کے ذریعے کی گئی جسے مصنفین نے ہیبرماس مشین کہا، جس کے بیانات تربیت یافتہ، مالی طور پر مراعات یافتہ انسانی ثالثوں کے بیانات پر 56% وقت ترجیح دی گئی۔ تنقید کے دور کے بعد تیار کردہ بیانات نے اقلیتی موقف کو ان کے گروپ کے حصے سے زیادہ وزن دیا، کم نہیں۔ مصنفین واضح حدود بیان کرتے ہیں: شرکاء سب برطانوی رہائشی تھے، گروپوں میں صرف پانچ لوگ شامل تھے، نظام حقائق کی جانچ یا اعتدال نہیں کر سکتا، اور ایک تحقیقی تجزیے نے انسانی ثالثوں سے مشابہت کی متفقہ نتائج پائے، جو یہ تجویز کرتا ہے کہ اثر ممکنہ طور پر ثالثی کی بحث کے عمل سے آتا ہے نہ کہ خاص طور پر AI سے۔ کسی بھی بحث کو چلانے والے کے لیے عملی نتیجہ یہ ہے کہ آراء کا تبادلہ وہ طریقہ کار نہیں ہے جو اتفاق رائے پیدا کرتا ہے؛ انہیں منظم کرنا، اور واضح اعتراض کا ایک دور چلانا ہے۔
اکتوبر 2024 میں، سائنس نے 5,734 شرکاء کے ساتھ ایک پری رجسٹرڈ تجربہ شائع کیا جس میں ایک کنٹرول حالت شامل تھی جس پر تقریباً کسی نے توجہ نہیں دی۔ ایک سیٹ کے گروپوں نے صرف ایک دوسرے کی رائے کو متنازعہ سیاسی سوالات پر پڑھا۔ ان کی سطحِ اتفاق بالکل نہیں بدلی۔ جن گروپوں کی ایک جیسی آراء کو ایک امیدوار گروپ کے بیان میں ترتیب دیا گیا، درجہ بند کیا گیا، تنقید کی گئی اور دوبارہ لکھا گیا، وہ آٹھ فیصد پوائنٹس کے ساتھ قریب ہوئے، اور یکجہتی تقریباً دوگنا ہو گئی۔ خیالات کا آزادانہ تبادلہ وہ چیز نہیں ہے جو مشترکہ بنیاد پیدا کرتا ہے۔ ساخت ہی وہ چیز ہے۔
- کنٹرول کا نتیجہ دریافت ہے۔ ایک دوسرے کی رائے پڑھنے سے گروپ کی اتفاق رائے میں b = -0.005 (P = 0.64) کی تبدیلی آئی۔ ایک ہی رائے کو ترتیب دینے سے یہ آٹھ فیصد پوائنٹس (تمام تین گروہوں میں P < 0.001) بڑھ گیا۔
- اتفاق رائے 22.8% سے بڑھ کر 38.6% ہو گیا، اور 66.6% شرکاء نے کہا کہ گروپ کا بیان ان کے اپنے اصل الفاظ سے بہتر طور پر ان کے نقطہ نظر کی عکاسی کرتا ہے۔
- تنقیدی دور سبباتی ہے، کوئی مصنوعی چیز نہیں۔ 245 لوگوں کے ایک الگ گروپ میں، وہ دوبارہ مسودے جو واقعی تنقیدات کا استعمال کرتے تھے، ان دوبارہ مسودوں سے بہتر تھے جو خفیہ طور پر انہیں نظرانداز کرتے تھے (P = 0.0039)۔
- ڈھانچے نے اقلیت کی حفاظت کی۔ تنقیدی جائزے کے بعد کے بیانات نے اقلیتی آراء کو 0.36 کے وزن پر رکھا جبکہ حقیقی حصہ 0.29 تھا۔ یہ اکثریتی حکمرانی نہیں تھی۔
- ایماندار حدود: صرف برطانیہ کے شرکاء، پانچ کے گروپ، کوئی حقیقت کی جانچ نہیں، اور انسانی ثالثوں نے ان راؤنڈز میں ملتی جلتی ہم آہنگی پیدا کی جو انہوں نے جیتے۔ یہ میکانزم ممکنہ طور پر خود ساختہ ڈھانچے کے ذریعے ثالثی کی جا سکتی ہے نہ کہ AI کے ذریعے۔
پانچ اجنبیوں کو ایک متنازعہ سوال دیا گیا۔ کیا قومی صحت کی خدمت کو نجی بنایا جانا چاہیے؟ کیا ووٹنگ کی عمر 16 سال ہونی چاہیے؟ ان میں سے ہر ایک نے اپنی ایماندار رائے کو نجی طور پر، اپنے الفاظ میں، مناسب لمبائی میں لکھا۔ پھر انہوں نے دوسرے چار افراد کی تحریریں پڑھیں۔ ان کی بیان کردہ آراء کی پیمائش پہلے کی گئی، اور پھر دوبارہ۔
کچھ بھی نہیں ہلا۔ نہ تھوڑا سا، نہ غلط سمت میں، نہ اتنی کم مقدار میں کہ کوئی اہمیت رکھے۔ گروپ کی رضامندی میں ماپے گئے تبدیلی منفی 0.005 تھی، جس کا p-value 0.64 ہے، جو کہ ایک تجربے کی رپورٹ کرنے کے لیے حقیقتاً کچھ بھی نہیں کے قریب ہے۔
یہ ایک کنٹرول حالت تھی جو 18 اکتوبر 2024 کو شائع ہونے والی ایک تحقیق میں بیان کی گئی تھی سائنس میں۔ موازنہ گروپ، جنہیں ایک ہی سوالات اور ایک ہی وقت دیا گیا، جن کی تحریری آراء کو ایک امیدوار گروپ کے بیان میں مرتب کیا گیا، درجہ بند کیا گیا، تنقید کی گئی اور دوبارہ لکھا گیا، تقریباً آٹھ فیصد پوائنٹس تک متفق ہوئے۔ گروپوں کی تعداد جو یکجہتی تک پہنچے وہ 22.8% سے بڑھ کر 38.6% ہوگئی۔ اس تحقیق کو عام طور پر ایک کہانی کے طور پر پیش کیا جاتا ہے جس میں ایک AI انسانی ثالثوں کو شکست دیتا ہے۔ زیادہ مفید نتیجہ وہ ہے جس پر کوئی سرخی نہیں بنی: نظریات کا تبادلہ مشترکہ بنیاد پیدا نہیں کرتا۔ انہیں منظم کرنا کرتا ہے۔
لوگوں کو ایک دوسرے کی رائے پڑھنے دینا گروپ کی اتفاق رائے کو نصف فیصد پوائنٹ کم کر دیتا ہے۔
ان ہی آراء کی تشکیل نے اسے آٹھ کی طرف منتقل کر دیا۔
ٹیسلر اور دیگر، سائنس 386، eadq2852 (2024) — رائے-مکاشفہ کوہوٹ بمقابلہ اہم کام کوہوٹ
مطالعے نے دراصل کیا کیا
یہ مقالہ AI can help humans find common ground in democratic deliberation ہے جو مائیکل ہنری ٹیسلر، میچیل بیکر اور گوگل ڈیپ مائنڈ، آکسفورڈ اور ہارورڈ کے ساتھیوں نے لکھا ہے۔ یہ جنوری اور اگست 2023 کے درمیان چلائے گئے سات تجربات کی رپورٹ کرتا ہے جن میں مجموعی طور پر 5,734 UK participants شامل ہیں۔ نمونہ سائز، خارج کرنے کے معیار اور بنیادی تجزیے پہلے سے رجسٹرڈ تھے، اور کوڈ عوامی طور پر جاری کیا گیا۔ اس علاقے میں پہلے سے رجسٹریشن، ایک حقیقی کنٹرول حالت، Science میں اشاعت اور کھلا کوڈ کا یہ مجموعہ اتنا نایاب ہے کہ اسے صاف صاف بیان کرنا ضروری ہے۔
شرکاء تقریباً پانچ کے گروپوں میں کام کرتے تھے اور تقریباً ایک گھنٹے میں تین سوالات پر بحث کرتے تھے۔ ہر سوال کے لیے طریقہ کار طے شدہ تھا۔ سب نے پہلے اپنی اپنی رائے کو نجی طور پر لکھا، جو 10 سے 200 الفاظ کے درمیان تھی، اوسطاً تقریباً 65 الفاظ۔ ان تحریری آراء کو ایک نظام میں منتقل کیا گیا جسے مصنفین نے ہابرماس مشین کا نام دیا، اس فلسفی کے نام پر جس نے کہا کہ معاہدہ اس وقت ابھرتا ہے جب لوگ منصفانہ حالات میں مل کر سوچتے ہیں۔ اس نظام نے گروپ کی مشترکہ بنیاد کے کئی امیدوار بیانات تیار کیے۔ شرکاء نے ان کی درجہ بندی کی، اور فاتح کو ایک درجہ بند انتخاب کے ذریعے منتخب کیا گیا جس میں ہر شرکاء کی ووٹ کی اہمیت برابر تھی۔ فاتح بیان دوبارہ گروپ کے پاس گیا، ہر شخص نے اس پر ایک تنقید نجی طور پر لکھی، اور نظام نے ان تنقیدات سے ایک نظرثانی شدہ مسودہ تیار کیا۔ شرکاء نے دوبارہ درجہ بندی کی اور آخر میں اصل اور نظرثانی شدہ ورژن کے درمیان انتخاب کیا۔
دو تفصیلات ہیں جن پر قائم رہنا ضروری ہے۔ شرکاء کو بتایا گیا کہ بیانات مشین کے ذریعے تیار کیے گئے تھے، لہذا کوئی دھوکہ دہی شامل نہیں تھی۔ اور سوالات خود جان بوجھ کر متنازعہ تھے، جن میں امیگریشن، ریٹائرمنٹ کی عمر، قید کی تعداد، بریگزٹ، موسمیاتی اہداف اور کم از کم تنخواہ شامل تھے۔ یہ ایسے موضوعات نہیں تھے جو آسانی سے اتفاق رائے پیدا کرنے کے لیے منتخب کیے گئے تھے۔
اس طریقہ کار نے چار چیزیں کیں۔
مشین لرننگ کو نکال دیں اور یہ طریقہ کار چار اقدامات پر مشتمل ہے۔ ان میں سے ہر ایک کسی بھی گروپ کے لیے دستیاب ہے جس کے پاس ایک مشترکہ دستاویز اور کچھ نظم و ضبط ہو۔
ہر کوئی کسی بھی دوسرے کی بات سنے بغیر ایک موقف اختیار کرتا ہے۔
رائے کو نجی طور پر، مکمل جملوں میں، دلائل کے ساتھ لکھا گیا۔ کوئی پہلے نہیں بولا اور نہ ہی کمرے کو سنبھالا، اور نہ ہی کسی کے پاس یہ اختیار تھا کہ وہ خاموشی سے اس کے ساتھ متفق ہو جائے جو سب سے زیادہ پراعتماد لگتا تھا۔ ہر شخص کی اصل سوچ کا ایک تحریری ریکارڈ موجود تھا اس سے پہلے کہ کوئی سماجی دباؤ اس پر اثر انداز ہو سکے۔
مقامات کو ایک آرٹيفیکٹ میں ترکیب دیا گیا ہے، فہرست میں نہیں رکھا گیا۔
یہ وہ مرحلہ ہے جسے کنٹرول گروپ نے نہیں لیا۔ انہیں بالکل وہی معلومات ملی، تمام پانچ آراء مکمل طور پر، علیحدہ متون کے ایک ڈھیر کی صورت میں۔ علاج کے گروپوں نے اسے ایک واحد مسودہ بیان کے طور پر حاصل کیا کہ گروپ حقیقت میں کہاں کھڑا ہے۔ ایک جیسی معلومات، مختلف ساخت، اور ان میں سے صرف ایک نے حرکت پیدا کی۔
چناؤ ایک درجہ بند ووٹ ہے جس میں برابر کا وزن ہوتا ہے۔
جیتنے والا بیان ہر شریک کی درجہ بندی کو جمع کر کے منتخب کیا گیا، ہر ایک کو ایک ووٹ دیا گیا۔ کسی کی ترجیح زیادہ اہم نہیں سمجھی گئی چاہے وہ زیادہ بلند آواز میں، تیز، زیادہ سینئر یا زیادہ واضح طور پر بولے۔ یہ وہ حصہ ہے جسے بیان کرنا بہت آسان ہے اور براہ راست ملاقات میں کرنا مستقل طور پر مشکل ہے۔
اعتراض کے لیے ایک رسمی مرحلہ ہے، اور مسودے میں تبدیلی کرنی ہوگی۔
ہر شریک نے جیتنے والے بیان پر نجی طور پر تنقید کی، اور ان تنقیدات کو ایک نظرثانی میں شامل کیا گیا۔ اعتراض ایک مداخلت یا سماجی خطرہ نہیں تھا؛ یہ ایک طے شدہ مرحلہ تھا جسے ہر ایک نے انجام دیا۔ تین گروہوں میں، 68٪، 64٪ اور 66٪ شرکاء نے نظرثانی شدہ بیان کو اصل بیان پر ترجیح دی۔
کنٹرول کی حالت کیوں اہم نتیجہ ہے
اس طرح کے کسی مطالعے پر ایک معقول اعتراض یہ ہے کہ لوگ صرف اس لیے ایک جیسے ہو جاتے ہیں کیونکہ انہوں نے آخرکار سنا کہ باقی سب کیا سوچتے ہیں۔ مصنفین نے اس کی توقع کی اور تجربہ کیا۔ 75 گروپوں میں 372 شرکاء کا ایک اضافی گروہ اسی مشق کو انجام دیا، سوائے اس کے کہ انہوں نے ایک مسودہ گروپ بیان کی درجہ بندی کرنے کے بجائے ایک دوسرے کی انفرادی آراء کی درجہ بندی کی۔ گروپ میں ہر نقطہ نظر کا مکمل انکشاف، کوئی ترکیب نہیں۔
اس حالت میں گروپ کا اتفاق نہیں بدلا (b = -0.005, t(230) = -0.46, P = 0.64)، اور دونوں حالات کے درمیان فرق خود ہی شماریاتی طور پر اہم تھا (P = 0.0058)۔ یہ ایک کنٹرول شدہ، پہلے سے رجسٹرڈ نتیجہ ہے، جو Science میں شائع ہوا، جو یہ ظاہر کرتا ہے کہ سب کی رائے کو گردش کرنا کسی گروپ کو اتفاق کی طرف نہیں لے جاتا۔ یہ ادب میں تبصرہ دھاگے کا براہ راست ٹیسٹ کرنے کے قریب ترین چیز ہے، اور تبصرہ دھاگہ اس میں ناکام رہا۔
مکینزم کا دوسرا نصف بھی اسی احتیاط سے جانچا گیا۔ نظرثانی شدہ بیانات کو ترجیح دی جا سکتی ہے صرف اس وجہ سے کہ لوگوں نے انہیں دوسرے نمبر پر دیکھا، تھوڑی مزید محنت کرنے کے بعد۔ لہذا مصنفین نے 245 شرکاء کا ایک اور گروپ چلایا جنہوں نے تنقیدیں لکھیں اور پھر انہیں دوبارہ لکھے گئے مسودے دکھائے گئے جو یا تو ان تنقیدوں کو شامل کرتے تھے یا نہیں۔ حقیقتاً تنقید سے متاثرہ ورژن اب بھی جیت گئے (P = 0.0039)۔ اعتراض کا دور واقعی کام کرتا ہے۔
ساخت نے اقلیت کو مسطح نہیں کیا۔ اس نے اسے بڑھا دیا۔
کسی بھی اتفاق رائے کے حصول کے عمل کے بارے میں واضح خوف یہ ہے کہ یہ بہتر آداب کے ساتھ اکثریتی حکمرانی بن جائے گا۔ مصنفین نے اس کی تصدیق کرنے کے بجائے اس کی پیمائش کی، ہر رائے اور ہر بیان کو ایک ویکٹر اسپیس میں شامل کر کے اور انہیں ہر سوال پر اتفاق سے اختلاف کی طرف چلنے والے محور کے ساتھ جگہ دے کر۔
تقریباً 77% راؤنڈز میں گروپ واقعی تقسیم میں شروع ہوا۔ ابتدائی گروپ بیانات میں اقلیتی آراء کا وزن 0.29 تھا، جبکہ حقیقی اوسط اقلیتی حصہ 0.29 تھا، جو تقریباً درست تناسبی نمائندگی ہے۔ ترمیم شدہ بیانات، جو تنقیدی راؤنڈ کے بعد لکھے گئے، میں ان کا وزن 0.36 تھا۔ اقلیت اپنے حجم کے لحاظ سے زیادہ نمائندگی کی گئی، اور گروپ نے بہرحال ان ترمیم شدہ بیانات کو ترجیح دی۔ گروپ کے بیانات کا نوے چھ فیصد اس دائرے کے اندر تھے جو واقعی گروپ کی اپنی آراء کے ذریعہ محیط تھا، لہذا نظام ایسی حیثیتیں تخلیق نہیں کر رہا تھا جو کسی نے نہیں رکھی تھیں۔
حمایت مجموعی طور پر اکثریتی پوزیشنز کی طرف منتقل ہوئی، اور مصنفین نے اس کا ذکر کیا ہے۔ اکثریت 29% سے 32% تک کے دوروں میں بڑھی اور اقلیت 20% سے 26% تک بڑھی۔ لیکن جب انہوں نے یہ جانچا کہ آیا لوگ صرف اس وجہ سے اکثریت کی طرف منتقل ہوئے کہ انہیں اکثریتی جھکاؤ والے بیانات دکھائے گئے تھے، تو انہیں بالکل بھی کوئی تعلق نہیں ملا (P = 0.37)۔ جو چیز لوگوں کو منتقل کرتی ہے وہ دلیل کا مواد ہے، نہ کہ اس کا بار بار سامنا۔
مشین کا پہلا مسودہ بالکل زیادہ تر کے مطابق تھا۔
ایک اعتراض کے بعد، اس نے اقلیت کی زیادہ نمائندگی کی۔
اقلیت کا وزن 0.29 سے بڑھ کر 0.36 ہوگیا جبکہ حقیقی اقلیت کا حصہ 0.29 ہے۔
یہ انسانی ثالثوں کو شکست دے گیا، اور یہ سب سے کم اہم ہے۔
ہیڈ لائن نتیجہ لوگوں کے خلاف ایک براہ راست مقابلہ تھا۔ 75 گروپوں میں، ایک رکن کو ثالث مقرر کیا گیا، جسے گروپ کے بیانات لکھنے کی تربیت دی گئی اور ہر بیان کے لیے جو گروپ کو پسند آیا، اس کی بنیادی تنخواہ کا 50% تک بونس پیش کیا گیا۔ ان راؤنڈز میں مشین کے بیانات کو 56% وقت انسانوں کے 44% کے مقابلے میں ترجیح دی گئی، اور انہیں حمایت اور معیار دونوں میں زیادہ درجہ بند کیا گیا۔ 155 آزاد جانچ کرنے والوں کے ایک علیحدہ پینل نے انہیں زیادہ واضح، زیادہ معلوماتی، کم غیر منطقی، اور مصنف کی اپنی رائے کو چھپانے کے امکانات میں کم قرار دیا۔
یہ وہ نتیجہ ہے جو سفر کرتا ہے، اور یہ وہ ہے جس پر کم سے کم انحصار کرنا چاہیے۔ مصنفین یہاں محتاط ہیں: وہ حقیقی موقع کو غیر انسانی ثالثی نہیں بلکہ ایسی وقت کی بچت، منصفانہ اور قابل توسیع بحث قرار دیتے ہیں۔ نظام نے سیکنڈز میں بیانات تیار کیے جبکہ انسانوں کو منٹ لگتے تھے۔ اور ایک exploratory تجزیے میں، مصنفین نے پایا انسانی ثالثوں کی جانب سے ان راؤنڈز میں مشابہت کا انقطاع جہاں انسانوں نے کامیابی حاصل کی، جو یہ تجویز کرتا ہے کہ اثر ممکنہ طور پر ثالثی کے ڈھانچے سے ایک عمل کے طور پر آتا ہے نہ کہ AI سے متعلق کسی خاص چیز سے۔ اگر یہ تشریح درست ہے تو یہ مطالعہ زیادہ مفید بناتا ہے نہ کہ کم، کیونکہ اس کا فائدہ پھر کسی بھی گروپ کے لیے دستیاب ہے جو اس طریقہ کار کو اپنانے کے لیے تیار ہو، چاہے ماڈل موجود ہو یا نہ ہو۔
یہ ایک نمائندہ نمونہ کے ساتھ دوبارہ تیار کیا گیا، اور یہ ہر چیز پر کام نہیں کرتا تھا۔
اہم گروہوں کو ایک ہجوم کی بنیاد پر پلیٹ فارم کے ذریعے سہولت کے ساتھ بھرتی کیا گیا، جس پر شکوک و شبہات ہونا ایک جائز بات ہے۔ لہذا مصنفین نے Sortition Foundation کے ساتھ شراکت داری کی، جو حقیقی شہریوں کی اسمبلیاں چلاتی ہے، تاکہ 200 شرکاء کو بھرتی کیا جا سکے جو عمر، جنس کی شناخت، نسل، سماجی و اقتصادی حیثیت اور علاقے کی نمائندگی کے لیے درجہ بند ہوں۔ انہوں نے اپریل اور مئی 2023 میں نو سوالات پر تین ہفتہ وار ایک گھنٹے کے سیشنز میں غور و فکر کیا۔ حمایت کی سطحیں اور گروپ کی رضامندی میں اضافہ دونوں کی تکرار ہوئی۔
دلچسپ بات یہ ہے کہ جہاں یہ کام نہیں کیا۔ نو سوالات میں، آراء پانچ پر متفق ہو گئیں۔ جیل کی آبادی کو کم کرنے کے حق میں حمایت 60% سے بڑھ کر 75% ہو گئی، اور پناہ گزینی میں داخلے کو آسان بنانے کے حق میں 39% سے 51% تک پہنچ گئی۔ بریگزٹ پر کوئی حرکت نہیں ہوئی۔ یونیورسل مفت بچوں کی دیکھ بھال پر، رائے دوسری طرف چلی گئی، جہاں مخالفت 33% سے بڑھ کر 41% ہو گئی۔ ایسا عمل جو ہر سوال پر موضوع کی پرواہ کیے بغیر اتفاق پیدا کرے، یہ کچھ غلط ہونے کا ثبوت ہوگا۔ یہ ایک ایسا سوال تھا جس نے مضبوط آراء کو مضبوط ہی چھوڑ دیا، جو کہ ایک ایماندار بحث کا تقریباً یہی مقصد ہونا چاہیے۔
حدود، صاف صاف بیان کی گئی
کسی بھی دعوے کو جو ایک واحد مطالعے پر مبنی ہو، اس مطالعے کی اپنی احتیاطی تدابیر کو شامل کرنا چاہیے، اور اس میں حقیقی احتیاطی تدابیر موجود ہیں۔ مصنفین خود ان میں سے زیادہ تر کی فہرست دیتے ہیں۔
سب برطانوی تھے، برطانوی سوالات پر بحث کر رہے تھے۔
تمام شرکاء برطانیہ کے رہائشی تھے جو برطانوی پالیسی پر غور کر رہے تھے۔ مصنفین کا کہنا ہے کہ ان کے پاس یہ توقع کرنے کی کوئی خاص وجہ نہیں ہے کہ نتائج برطانیہ کے مخصوص ہیں، لیکن انہوں نے اس کی جانچ نہیں کی۔ یہاں کچھ بھی ایسا نہیں دکھایا گیا جو مختلف سیاسی ثقافت میں درست ہو۔
پانچ کے گروپ، پچاس کے نہیں
ہر گروپ میں تقریباً پانچ لوگ تھے۔ مصنفین کا کہنا ہے کہ یہ طریقہ اصولی طور پر طویل سیاق و سباق کے ماڈلز کے ساتھ بڑھتا ہے، لیکن پیمانے کی جانچ نہیں کی گئی۔ چھوٹے گروپ کے نتائج خود بخود سو شرکاء کے ساتھ رابطے میں نہیں رہتے، اور یہ تصدیق کرنا کہ ایک ترکیب وفادار ہے، جیسے جیسے ان پٹ بڑھتا ہے، بہت مشکل ہو جاتا ہے۔
یہ حقیقت کی جانچ نہیں کر سکتا، نہ ہی اعتدال رکھ سکتا ہے، اور نہ ہی کسی کو موضوع پر رکھ سکتا ہے۔
مصنفین کے اپنے الفاظ میں، اگر انسانی آراء غلط معلومات پر مبنی یا نقصان دہ ہیں تو نتیجہ بھی غلط معلومات پر مبنی یا نقصان دہ ہو سکتا ہے۔ نظام اس کی بنیاد پر جو کچھ دیا جاتا ہے اسے یکجا کرتا ہے۔ اس کا اس بات پر کوئی نظریہ نہیں ہے کہ آیا ان میں سے کوئی بھی سچ ہے، اور مطالعے کے سوالات کو نقصان دہ مباحثوں کے خطرے کو کم کرنے کے لیے پہلے سے جانچ لیا گیا تھا۔
تربیتی نمونہ نمائندہ نہیں تھا۔
ماڈل کو ہجوم سے حاصل کردہ شرکاء پر ترتیب دیا گیا جن میں 65 سال سے زائد عمر کے افراد کی نمائندگی کم تھی۔ اسمبلی کی نقل تشخیصی نمونے کو مدنظر رکھتی ہے، نہ کہ وہ ڈیٹا جس سے نظام نے ترجیحات سیکھی ہیں۔
یہ فرض کرتا ہے کہ ہر کوئی دل سے بحث کر رہا ہے۔
یہ طریقہ کار ہر تحریری موقف کو اس کی ظاہری حیثیت پر لیتا ہے۔ کوئی شخص جو جان بوجھ کر اپنے نقطہ نظر کو غلط بیان کرتا ہے تاکہ ترکیب کو پسندیدہ نتیجے کی طرف لے جائے، کہیں ماڈل نہیں کیا گیا، اور اس طریقہ کار کے تحت معقول حکمت عملی کے طرز عمل کی حیثیت ایک کھلا تحقیقی سوال ہے۔
AI فعال جزو نہیں ہو سکتا۔
مصنفین کے اپنے تحقیقی تجزیے نے ان انسانی ثالثوں کی جانب سے جیتے گئے راؤنڈز میں موازنہ کرنے والی ہم آہنگی کو پایا۔ ایماندارانہ طور پر یہ کہنا ہے کہ یہ مطالعہ منظم، ثالثی کی گئی بحث کی اہمیت کو ظاہر کرتا ہے، اور یہ دکھاتا ہے کہ ایک ماڈل ثالثی کا کردار مؤثر اور تیز رفتاری سے ادا کر سکتا ہے۔ یہ یہ ثابت نہیں کرتا کہ ماڈل ہی اس کی کامیابی کی وجہ ہے۔
جہاں ناقدین کا ایک نقطہ ہے
اس مقالے پر غور و فکر کی جمہوریت کے ماہرین کی جانب سے سنجیدہ تنقید کی گئی، اور اس میں سے کچھ درست بھی ہے۔ سب سے تیز تنقید الویرو اولیئرٹ اور نیکولاس پالمو ہرنینڈز کی طرف سے جرنل آف ڈلیبرٹیو ڈیموکریسی میں آئی ہے، جو یہ نشاندہی کرتے ہیں کہ اس طریقہ کار میں شرکاء کبھی ایک دوسرے سے واقعی بحث نہیں کرتے۔ وہ نجی طور پر لکھتے ہیں، پھر مشین کی پیداوار کی درجہ بندی کرتے ہیں۔ یہاں کوئی جواب نہیں ہوتا، لوگوں کے درمیان کوئی دلائل کا تبادلہ نہیں ہوتا، اور نہ ہی کوئی لمحہ ہوتا ہے جہاں ایک شخص کا دلائل دوسرے شخص کے ذہن کو براہ راست تبدیل کرے۔ وہ اسے شہریوں کے بغیر غور و فکر کہتے ہیں، اور وہ نام کی ستم ظریفی کو نوٹ کرتے ہیں: ہیبرماس نے اتفاق کو حقیقی گفتگو کی پیشگی شرط کے طور پر دیکھا، نہ کہ اسے بہتر بنانے کے ہدف کے طور پر۔
بیٹھ سیمون نوویک ایک مختلف اعتراض اٹھاتی ہیں: اتفاق رائے حکومت کا مشکل حصہ نہیں ہے۔ گروہ اکثر اس بات پر متفق ہونے میں ناکام رہتے ہیں کہ مسئلہ کیا ہے بجائے اس کے کہ اس کا حل کیا ہونا چاہیے، اور ایک مشین جو ایک اچھی طرح سے وضع کردہ سوال پر اتفاق رائے پیدا کرنے میں بہترین ہے، ایک خراب وضع کردہ سوال کے ساتھ مدد نہیں کرتی۔ نائٹ فرسٹ امینڈمنٹ انسٹی ٹیوٹ کے محققین نگرانی کے مسئلے کا اضافہ کرتے ہیں، جو یہ ہے کہ جب ایک ہزار آراء سے ایک ترکیب نکالی جاتی ہے، تو کوئی بھی انسان یہ تصدیق نہیں کر سکتا کہ یہ ان کی درست نمائندگی کرتی ہے۔
ہمیں لگتا ہے کہ پہلی تنقید سب سے اہم ہے، اور ہم اس سے اتفاق کرتے ہیں۔ کسی عمل کو اتفاق کی طرف بہتر بنانا لوگوں کو ایک ساتھ سوچنے میں مدد کرنے کے مترادف نہیں ہے، اور ایک ایسا نظام جو انسانی بحث کے گرد راستہ بنا کر اتفاق رائے پیدا کرتا ہے، اس چیز کو ختم کر دیتا ہے جو پہلے جگہ پر غور و فکر کو قیمتی بناتی ہے۔ آگے بڑھانے کے لیے جو نتیجہ ہے وہ یہ نہیں ہے کہ ایک ماڈل آپ کے گروپ کی حیثیت لکھے۔ یہ زیادہ محدود اور پائیدار ہے: حیثیت کو واضح ہونا چاہیے، ساخت گردش پر غالب آتی ہے، اور اعتراض کا ایک رسمی دور نتیجے کو تبدیل کرتا ہے۔ یہ باتیں چاہے ترکیب ایک ماڈل، ایک سہولت کار، یا خود گروپ کے ذریعے کی جائے، برقرار رہتی ہیں۔
اس کے ساتھ پیر کو کیا کرنا ہے
ان چار طریقوں میں سے کوئی بھی AI کی ضرورت نہیں ہے، اور یہ سب چیزیں ہیں جو زیادہ تر میٹنگز میں غلط کی جاتی ہیں۔ بحث سے پہلے تحریری موقف جمع کریں، نہ کہ اس کے دوران۔ مطالعے کے شرکاء نے تقریباً 65 الفاظ اپنے دلائل کے ساتھ لکھے، جو تقریباً پانچ منٹ کا کام ہے اور یہ سب سے سستا تبدیلی ہے جو دستیاب ہے۔ پھیلانے کے بجائے ہم آہنگ کریں۔ ہر ایک کے تبصروں کو آگے بڑھانا بالکل وہی حالت ہے جس نے کوئی حرکت پیدا نہیں کی؛ کسی کو یہ مسودہ تیار کرنا ہوگا کہ گروپ دراصل کیا چیز مشترک رکھتا ہے اور اسے درست کرنے کے لیے پیش کرنا ہوگا۔ برابر وزن کی درجہ بندی کے ذریعے فیصلہ کریں نہ کہ اس پر کہ آخر میں کون بات کر رہا ہے۔ اور اعتراض کے دور کا شیڈول بنائیں، تاکہ اختلاف کرنا ایک ایسا کام ہو جو ہر کوئی انجام دے، نہ کہ ایک سماجی خطرہ جسے کسی کو اٹھانا پڑے۔
اگر آپ آن لائن مباحثے چلاتے ہیں تو کنٹرول کے نتائج خاص توجہ کے مستحق ہیں، کیونکہ ایک مباحثہ بورڈ یا تبصرے کی دھاگہ ہے کنٹرول کی حالت۔ یہ آراء کو گردش کرتا ہے اور کچھ بھی ترکیب نہیں کرتا۔ یہ ساختی معاملہ مباحثہ بورڈ کے متبادل میں پیش کیا گیا ہے، اور اب اس کے پیچھے ایک پیش رجسٹرڈ تجربہ موجود ہے۔ مباحثے کی ساخت کیسے بنائیں میں چار مرحلوں کی ساخت ہاتھ سے وہی اقدامات نافذ کرتی ہے، اور رضامندی بمقابلہ اتفاق میں اتفاق کرنے اور صرف اعتراض نہ کرنے کے درمیان تفریق کا احاطہ کیا گیا ہے۔
یہ آرگومنٹری کے بارے میں کیا کہتا ہے اور کیا نہیں کہتا
ہمیں اس بارے میں واضح ہونا چاہیے، کیونکہ زیادہ دعویٰ کرنے کی لالچ واضح ہے۔ ہیبرماس مشین وہ نہیں ہے جو ہم نے بنائی۔ یہ ایک ذاتی نوعیت کے انعامی ماڈل کا استعمال کرتے ہوئے امیدواروں کے متفقہ بیانات تیار کرتی ہے جو پیش گوئی کرتا ہے کہ ہر شریک کس طرح ہر مسودے کی درجہ بندی کرے گا، اور یہ ان کے درمیان ایک مش simulated انتخابات کے ذریعے انتخاب کرتی ہے۔ آرگومنٹری یہ نہیں کرتا، اور یہ مطالعہ ہمارے پروڈکٹ کا امتحان نہیں لیتا۔
یہ جو چیز جانچتی ہے وہ وہ میکانزم ہے جس پر ہمارا پروڈکٹ بنایا گیا ہے۔ بحث کے ایک جگہ پر آنے سے پہلے، پوزیشنز کو واضح طور پر لکھا جاتا ہے، ان کی وجوہات کے ساتھ۔ دلائل کو ایک مشترکہ آرٹيفیکٹ میں ترتیب دیا جاتا ہے بجائے اس کے کہ انہیں پوسٹس کے ڈھیر کی طرح گردش کیا جائے۔ اعتراض ایک پہلی درجہ کی کارروائی ہے جس کے ساتھ منسلک ہونے کی جگہ ہوتی ہے، بجائے اس کے کہ یہ ایک مداخلت بن جائے۔ اقلیتی پوزیشنز نظر میں رہتی ہیں اور ان کی شناخت کی جا سکتی ہے بجائے اس کے کہ یہ اکثریتی نقطہ نظر میں تحلیل ہو جائیں۔ یہ وہ چار چیزیں ہیں جو مطالعے نے الگ کیں، اور یہ وہ چار چیزیں ہیں جو ایک منظم دلیل کا نقشہ خود بخود کرتا ہے۔ فرق یہ ہے کہ ہماری ترکیب قابل معائنہ رہتی ہے: ہر دعویٰ اپنے مصنف، اس کے اعتراضات اور اس کی حمایت کو برقرار رکھتا ہے، لہذا کسی کو بھی ایسی خلاصے پر اعتماد کرنے کی ضرورت نہیں ہوتی جس کی وہ جانچ نہیں کر سکتے، جو بالکل وہی نگرانی کا مسئلہ ہے جس کا نقاد ذکر کرتے ہیں۔
ٹیسٹ
اپنی اگلی بحث کے بعد پوچھیں کہ کیا کسی کی حیثیت واقعی تبدیل ہوئی۔ اگر سب نے سب کچھ پڑھا اور کوئی نہیں بدلا، تو آپ نے مشاورت نہیں کی۔ آپ نے کنٹرول حالت چلائی۔
یاد رکھنے کے قابل نتیجہ
ماڈل، شہری اسمبلی اور اس بحث کو چھوڑ دیں کہ آیا ایک AI کو سیاسی عمل کے قریب ہونا چاہیے یا نہیں، تو ایک نمبر باقی رہتا ہے۔ پانچ لوگ، ایک سوال پر ایک دوسرے کی تحریری وجوہات تک مکمل رسائی رکھتے ہیں جس کی انہیں پرواہ تھی، پہلے اور بعد میں ناپا گیا: P = 0.64۔ گروپوں کے اتفاق رائے تک پہنچنے کا سب سے عام طریقہ، جو یہ ہے کہ تمام آراء کو سب کے سامنے رکھا جائے اور لوگوں کو پڑھنے دیا جائے، اب ایک کنٹرول کے خلاف آزمایا گیا ہے اور اس کا کوئی قابل پیمائش اثر نہیں ہوا۔
جو حالت کام کرتی تھی اس نے کوئی نئی معلومات فراہم نہیں کی۔ ہر شریک نے پہلے ہی ہر رائے رکھی ہوئی تھی۔ جو چیز بدلی وہ یہ تھی کہ رائے کو ایک شکل دی گئی، برابر وزن کے ساتھ درجہ بند کیا گیا، اور ایک رسمی اعتراض کے دور سے گزارا گیا۔ یہ ایک طریقہ کار کی دریافت ہے نہ کہ تکنیکی، اور یہ کسی بھی شخص کے لیے دستیاب ہے جو اپنی بحثوں کو مختلف طریقے سے چلانے کے لیے تیار ہو۔
گروپ کے پاس پہلے ہی تمام دلائل موجود تھے۔ جس چیز کی کمی تھی وہ انہیں ترتیب دینے کے لیے ایک ڈھانچہ تھا۔
ساخت کو چلائیں، دھاگے کو نہیں
Argumentree ہر مقام کو ایک واضح جگہ دیتا ہے، ہر اعتراض کو کہیں منسلک کرنے کی جگہ فراہم کرتا ہے، اور ہر اقلیتی دلیل کا ایک ریکارڈ فراہم کرتا ہے جو بحث کے بعد بھی برقرار رہتا ہے۔
ذرائع
- ٹیسلر، ایم۔ ایچ۔، بیکر، ایم۔ اے۔، جارٹ، ڈی۔، شیہان، ایچ۔، چیڈوک، ایم۔ جے۔، کوسٹر، آر۔، ایوانز، جی۔، کیمبل-گِلنگہم، ایل۔، کولنز، ٹی۔، پارکس، ڈی۔ سی۔، بوٹونک، ایم۔، اور سمر فیلڈ، سی۔ (2024). AI انسانوں کی مدد کر سکتا ہے کہ وہ جمہوری مشاورت میں مشترکہ بنیاد تلاش کریں۔ سائنس، 386، eadq2852۔اس مضمون میں ہر شکل کا بنیادی ماخذ۔ سات تجربات، 5,734 برطانوی شرکاء، 18 اکتوبر 2024 کو شائع ہوا۔
- ٹیسلر اور دیگر (2023). پری رجسٹریشن: نمونہ کے سائز، خارج کرنے کے معیار اور بنیادی تجزیے۔ اوپن سائنس فریم ورک، osf.io/uy4z3۔تجزیے اس سے پہلے درج کیے گئے تھے جب ڈیٹا جمع کیا گیا، یہی وجہ ہے کہ کنٹرول کا نتیجہ ایک ٹیسٹ کے طور پر پڑھا جاتا ہے نہ کہ بعد میں نوٹ کیے گئے کسی چیز کے طور پر۔
- Oleart, A., & Palomo Hernández, N. (2025). کیوں AI ٹیکنوسلوشنزم جمہوریت اور مشاورت کو نقصان پہنچاتا ہے: EU، شہری اسمبلیاں اور ہیبرماس مشین۔ جریدہ برائے مشاورتی جمہوریت، 21(1)، 1-6۔سب سے مضبوط تنقید: شرکاء مشین کی پیداوار کی درجہ بندی کرتے ہیں بجائے اس کے کہ ایک دوسرے سے بحث کریں، جسے مصنفین شہریوں کے بغیر غور و فکر کہتے ہیں۔
- نائٹ فرسٹ ایڈمنٹ انسٹی ٹیوٹ۔ کیا AI ثالثی جمہوری مباحثے کو بہتر بنا سکتی ہے؟غیر نمائندہ تربیتی ڈیٹا، پیمانے پر نگرانی کا مسئلہ، اور یہ مفروضہ کہ شرکاء مخلصانہ طور پر بحث کرتے ہیں۔
- نویک، بی۔ ایس۔ امن قائم کرنے والی مشین؟ کس طرح AI انسانوں کی مدد کر سکتا ہے کہ وہ جمہوری مشاورت میں مشترکہ بنیاد تلاش کریں۔ ریبوٹ جمہوریت۔یہ دلیل دیتا ہے کہ مسئلے کی تعریف پر اتفاق کرنا، متفقہ رائے تک پہنچنے کے بجائے، حقیقی حکمرانی میں پابند کرنے والی رکاوٹ ہے۔
اکثر پوچھے جانے والے سوالات
2024 کے سائنس کے مطالعے نے AI کے ذریعے کی جانے والی مشاورت کے بارے میں کیا پایا؟
یہ پایا گیا کہ ایک گروپ کی تحریری آراء کو ایک امیدوار گروپ بیان میں ترتیب دینا، اسے برابر وزن کے ووٹ کے ذریعے درجہ بند کرنا، اس پر تنقید کرنا اور دوبارہ مسودہ تیار کرنا گروپ کی ہم آہنگی میں تقریباً آٹھ فیصد پوائنٹس کا اضافہ کرتا ہے، جبکہ صرف اسی گروپ کے شرکاء کو ایک دوسرے کی آراء پڑھنے دینا بالکل کوئی تبدیلی پیدا نہیں کرتا (P = 0.64)۔ اس طرح تیار کردہ بیانات کو تربیت یافتہ، مالی طور پر مراعات یافتہ انسانی ثالثوں کے ذریعہ تحریر کردہ بیانات کے مقابلے میں 56% وقت ترجیح دی گئی۔ اس مطالعے میں 5,734 برطانوی شرکاء شامل تھے اور یہ پہلے سے رجسٹرڈ تھا۔
کیا یہ مطالعہ ثابت کرتا ہے کہ AI لوگوں سے مباحثہ چلانے میں بہتر ہے؟
نہیں، اور مصنفین اس کا دعویٰ نہیں کرتے۔ AI نے سیکنڈز میں بیانات تیار کیے نہ کہ منٹوں میں، اور اسے 56% سے 44% تک ترجیح دی گئی، لیکن اسی مقالے میں ایک تحقیقی تجزیے نے انسانی ثالثوں کی جانب سے جیتے گئے راؤنڈز میں مشابہت کی دریافت کی۔ سب سے زیادہ قابل دفاع تشریح یہ ہے کہ ثالثی کا ڈھانچہ ہی مؤثر ہے، اور ایک ماڈل ثالثی کا کردار مہارت اور تیزی سے ادا کر سکتا ہے۔ یہ طریقہ کار خود AI کی ضرورت نہیں رکھتا۔
کیا اس عمل نے صرف اکثریتی رائے کو سب پر مسلط کر دیا؟
نہیں۔ ابتدائی گروپ کے بیانات میں اقلیتی حیثیت کو 0.29 پر وزن دیا گیا جبکہ حقیقی اقلیتی حصہ 0.29 تھا، اور تنقید کے بعد کے بیانات میں انہیں 0.36 پر وزن دیا گیا، جو کہ ان کی حجم کے لحاظ سے اقلیت کی زیادہ نمائندگی کرتا ہے۔ بیانو ں کا چھیانوے فیصد اس رینج میں تھا جو گروپ نے واقعی میں رکھے تھے۔ مجموعی طور پر حمایت اکثریتی حیثیت کی طرف منتقل ہوئی، لیکن یہ دیکھنے کے درمیان کوئی تعلق نہیں تھا کہ لوگ کتنی بار اکثریتی جھکاؤ والے بیانات کو دیکھتے ہیں اور وہ کتنی زیادہ منتقل ہوئے (P = 0.37)، لہذا صرف نمائش اس کو نہیں چلا رہی تھی۔
مطالعے کی اہم حدود کیا ہیں؟
شرکاء سب برطانیہ کے رہائشی تھے جو برطانوی پالیسی کے سوالات پر بحث کر رہے تھے؛ گروپوں میں صرف تقریباً پانچ لوگ شامل تھے، اس لیے کچھ بھی اسمبلی کے پیمانے پر نہیں آزمایا گیا؛ نظام حقائق کی جانچ نہیں کر سکتا، بحث کو معتدل نہیں کر سکتا یا موضوع پر برقرار نہیں رکھ سکتا، اور مصنفین نوٹ کرتے ہیں کہ غلط معلومات پر مبنی ان پٹ غلط معلومات پر مبنی آؤٹ پٹ پیدا کرتی ہے؛ تربیتی نمونہ 65 سال سے زائد عمر کے افراد کی نمائندگی نہیں کرتا؛ اور طریقہ کار یہ فرض کرتا ہے کہ شرکاء اپنے خیالات کو ایمانداری سے بیان کرتے ہیں۔ مصنفین یہ بھی تسلیم کرتے ہیں کہ AI ممکنہ طور پر فعال جزو نہیں ہو سکتا، کیونکہ انسانی ثالثوں نے ان راؤنڈز میں ملتے جلتے نتائج پیدا کیے جنہیں انہوں نے جیتا۔
ہیبرماس مشین کیا ہے؟
یہ وہ نام ہے جو محققین نے اپنے نظام کو دیا، جو کہ یورگن ہیبرماس کے نام پر ہے، جنہوں نے یہ دلیل دی کہ معاہدہ اس وقت ابھرتا ہے جب لوگ منصفانہ حالات میں مل کر سوچتے ہیں۔ یہ ایک تخلیقی ماڈل کو یکجا کرتا ہے جو شرکاء کی تحریری آراء سے امیدوار گروپ کے بیانات تیار کرتا ہے، ایک ذاتی انعام ماڈل کے ساتھ جو پیش گوئی کرتا ہے کہ ہر شریک کس طرح ہر مسودے کی درجہ بندی کرے گا، پھر ایک simulated برابر وزن کے انتخابات کے ذریعے ایک فاتح کا انتخاب کرتا ہے۔ یہ ایک بہتر بنائے گئے چنچلا 70B ماڈل پر بنایا گیا تھا، جو اسی کام میں ایک prompted جیمینی 1.5 پرو سے بہتر کارکردگی کا مظاہرہ کرتا ہے۔
میں یہ بغیر کسی AI کے کیسے لاگو کروں؟
چار اقدامات کو الگ الگ چلائیں۔ ہر ایک کو اپنی پوزیشن اور وجوہات کو نجی طور پر لکھنے دیں، کسی بھی بحث سے پہلے؛ تقریباً 65 الفاظ کافی ہیں۔ کسی کو ان کو ایک مشترکہ مسودے میں مرتب کرنے کے لیے منتخب کریں، بجائے اس کے کہ خود رائے کو گردش میں لایا جائے، کیونکہ انہیں گردش میں لانا وہ شرط ہے جس نے کوئی اثر پیدا نہیں کیا۔ مسودوں کے درمیان برابر وزن کی درجہ بندی کے ذریعے انتخاب کریں، نہ کہ اس بنیاد پر کہ کون آخری بولتا ہے۔ پھر ایک رسمی دور چلائیں جہاں ہر کوئی ایک اعتراض لکھتا ہے، اور اس کے خلاف مسودے میں ترمیم کریں۔
متعلقہ مطالعہ
ایک مؤثر مباحثے کے 4 مراحل (اور 10 اصول جو اسے منصفانہ رکھتے ہیں)
یہ طریقہ کار جس کی یہ تحقیق توثیق کرتی ہے، ہاتھ سے نافذ کیا گیا: واضح عہدے، ایک منظم تبادلہ، ایک رسمی اعتراض کا دور، اور ایک ریکارڈ شدہ نتیجہ۔
بحث بورڈ کے متبادل: آن لائن کورسز میں اس کے بجائے کیا استعمال کریں
تھریڈڈ بورڈ مطالعے کی کنٹرول حالت ہے۔ یہ آراء کو گردش کرتا ہے اور کچھ بھی ترکیب نہیں کرتا۔ یہاں ہے کہ اس کے بجائے کیا چلانا ہے۔
رضامندی بمقابلہ اتفاق رائے: آپ کو کون سا چلانا چاہیے؟
اس مطالعے نے اتفاق کی پیمائش کی۔ یہ ایک ایسے گروپ اور ایک ایسے گروپ کے درمیان فرق ہے جو صرف اعتراض کرنا بند کر چکا ہے۔
ٹیم کے فیصلوں میں گروپ تھنک سے کیسے بچیں
کیوں ہم آہنگی صرف ایک اچھا نشان ہے جب کہ ساخت نے پہلے اختلاف کو اظہار کرنے میں آسانی فراہم کی۔

