Réaliser une étude Delphi où le raisonnement survit aux tours

Le panel qui a convergé vers rien que quiconque ne pouvait expliquer.

Le tour 3 de l'étude Delphi se termine et le facilitateur envoie un e-mail au panel : consensus atteint. La médiane est passée de 6,1 à 7,8 sur la question de l'adoption sur dix ans ; l'écart type a été réduit de moitié ; le rapport s'écrit tout seul. Puis un membre du panel — un membre prudent — répond avec la question qui dénoue le tout : "J'ai révisé mon estimation parce que le résumé du tour 2 disait que le groupe avait de fortes raisons d'être optimiste. Puis-je voir ces raisons ? J'aimerais savoir avec quoi j'étais d'accord."

Il n'y a pas de bonne réponse. Les tours étaient des enquêtes. Entre elles, le panel a vu des médianes, des quartiles et un résumé en deux paragraphes du facilitateur. Les raisons — quels que soient les arguments spécifiques qui ont poussé onze experts à réviser à la hausse — ont été saisies dans des cases de texte libre, compressées dans le résumé et perdues. Le panel a convergé ; sur quel raisonnement, personne ne peut le dire.

Ce n'est pas une étude défaillante ; c'est une pratique standard avec des outils standards, et cela gaspille la meilleure propriété de la méthode. Delphi a été conçu autour d'une idée précise : l'anonymat et l'indépendance éliminent les effets de domination et de statut qui déforment les panels en face à face, et un retour contrôlé permet à un jugement authentique d'évoluer sans pression sociale. Les logiciels d'enquête offrent l'indépendance et perdent la substance du retour d'information. Ce tutoriel suit les mêmes étapes avec le raisonnement conservé.

Ce que le Delphi basé sur des enquêtes perd entre les tours

Un tour de Delphi produit deux choses : une distribution (où se situe le panel) et un raisonnement (pourquoi). Les outils d'enquête sont conçus pour le premier. Le second est aplati en champs de texte libre puis en un résumé du facilitateur — qui insère discrètement un éditeur non comptable entre les experts et les uns les autres. Les panélistes du Round 2 ne répondent pas aux arguments de leurs pairs ; ils répondent à une paraphrase de ceux-ci. Pour une méthode dont toute l'épistémologie est le jugement collectif structuré, c'est une chose étrange à perdre — l'histoire des méthodes collectives est en grande partie une histoire de luttes autour de cette étape de retour d'information.

Configuration : la question, le panel — et la décision d'anonymat

Avant toute chose, une décision qu'un méthodologiste vérifiera d'abord : ce que votre panel exige réellement — indépendance ou anonymat — car ce ne sont pas la même chose, et la plateforme vous en donne un par défaut.

1. 1Formulez la proposition comme la revendication principale — falsifiable, pas ouverte : "X sera une pratique clinique standard d'ici 2032", pas "quel est l'avenir de X ?". Une racine vague produit des positions non évaluables. Point de contrôle : la racine peut être argumentée pour et contre.

Round 1 : positions indépendantes, puis les chiffres

1. 1Fenêtre de soumission indépendante. Chaque panéliste ajoute des positions de soutien ou d'opposition sous la racine — sans voir celles des autres jusqu'à la soumission. C'est l'indépendance que la méthode exige, imposée par le support plutôt que par la confiance dans le processus du facilitateur. Point de contrôle : chaque panéliste a ≥1 position ; personne n'a vu ou modifié celle des autres.
2. 2Optionnel : Panélistes IA, étiquetés. Générez des positions supplémentaires à partir de plusieurs modèles. La provenance est estampillée sur chaque argument, de sorte que les positions des machines sont toujours distinguables de celles des experts. Cela élargit l'espace des positions ; cela n'ajoute aucune expertise — la distinction est importante et doit figurer dans votre rapport (voir la section sur le panel hybride ci-dessous). Point de contrôle : Positions IA visiblement étiquetées.
3. 3Évaluations du tour 1. Chaque panéliste évalue chaque position — une valeur plus une étiquette, avec les points d'ancrage que vous avez définis ("1 = peu probable … 9 = presque certain"). C'est l'enregistrement quantitatif du tour. Point de contrôle : matrice d'évaluation complète ; points d'ancrage énoncés une fois, utilisés de manière cohérente.

Retour contrôlé qui porte le raisonnement

Maintenant, les outils d'enquête par étapes ne peuvent pas le faire. L'artefact de retour d'information pour le Round 2 n'est pas un résumé écrit par le facilitateur — c'est l'arbre lui-même : chaque position, dans les propres mots de son auteur (ou modèle), avec sa distribution de notes attachée. Les panélistes voient exactement quels arguments le groupe a jugés forts, lesquels ont divisé le panel et lesquels ont échoué — sans paraphrase éditoriale entre les deux. Le travail du facilitateur se réduit à la logistique : annoncer la fenêtre, pointer vers l'arbre.

Round 2 : interroger, contester, réconcilier

Le tour 2 est l'endroit où le Delphi classique dit "réviser à la lumière des retours." Avec le raisonnement visible, la révision devient active — trois mouvements structurés, chacun un dialogue à quatre tours avec l'auteur d'une position :

1. 1Interroger — chaîne de questions-réponses. Avant de réviser une position, comprenez-la : votre question, la réponse de l'auteur, le suivi, la réponse — complète. Pour les positions d'IA, le modèle répond automatiquement, donc le panel n'est jamais bloqué en attendant un membre. Point de contrôle : les positions qui ont changé d'opinion portent des chaînes expliquant pourquoi.
2. 2Défi — Chaîne de révision. Évaluer une position comme non soutenue ; l'auteur répond ; suivi ; réponse. N panélistes remettant en question une position = N chaînes parallèles — ce qui est exactement la structure qu'un Delphi souhaite : critique indépendante parallèle, jamais un fil de groupe pour réintégrer le statut. Point de contrôle : les positions contestées portent des défis complétés.
3. 3Réconcilier les quasi-duplicatas — Chaîne de compromis. Deux experts occupant presque la même position comptent en double une vue dans les évaluations. L'un propose la formulation fusionnée à l'autre, sur le registre. Point de contrôle : aucun couple de doublons laissé non fusionné ou inexpliqué.
4. 4Évaluations de la ronde 2. Réévaluez tout sous les mêmes ancres. Point de contrôle : deuxième matrice complète, prête pour la comparaison.

Panneaux hybrides : ajouter des modèles sans ajouter d'expertise

Parce que les positions rédigées par l'IA répondent à leurs propres chaînes — renvoyées au modèle qui les a écrites — un panel hybride humain/IA est véritablement pratique : utiliser des modèles pour élargir l'espace de position de la Round 1, puis laisser les experts humains contre-interroger les positions de la machine lors de la Round 2 et obtenir des réponses substantielles sans que personne ne s'occupe du côté de la machine. Soyez précis sur ce que cela apporte : une entrée plus large, pas une expertise ajoutée. La position d'un modèle est un schéma bien formulé, pas une carrière de jugement, et le marquage existe pour que vos chiffres de convergence puissent être calculés avec et sans les lignes de la machine. Quand élargir l'entrée aide et quand cela ne fait que diluer est sa propre littérature — quand les foules se trompent couvre les modes d'échec ; l'autre côté, pourquoi les jugements indépendants s'agrègent si bien lorsqu'ils sont véritablement indépendants, est l'histoire de Galton et Condorcet.

Mesurer la convergence, rapporter le dissentiment

La convergence est le rétrécissement des distributions de notes entre les tours, et vous la mesurez en les comparant — honnêtement, à la main ou par exportation : il n'y a pas de statistique de convergence intégrée, pas de W de Kendall automatique, pas de test de stabilité. Exportez les deux matrices et calculez ce que votre domaine attend, ou rapportez les distributions qualitativement ("douze des quatorze positions se sont rétrécies ; deux se sont encore divisées").

Et signalez le désaccord. Une position où le panel désaccorde de manière stable à travers les tours — même écart, les deux pôles défendus dans des chaînes complètes — est une découverte, sans doute le type le plus précieux : elle marque où le jugement d'expert se divise réellement, avec le raisonnement pour les deux pôles attaché. L'ignorer est le seul péché impardonnable de Delphi. L'arbre rend le désaccord citable : l'objection survivante, son auteur (ou son remplaçant public anonyme), et les défis qu'elle a surmontés.

Limitations honnêtes

• ✗L'indépendance n'est pas l'anonymat — déclaré clairement et qui mérite d'être répété : les arguments des locataires privés sont attribués. Si l'anonymat est méthodologiquement essentiel, utilisez le locataire public d'Argumentree.AI et indiquez-le dans votre rédaction.
• ✗Il n'y a pas de responsable de round. Pas de bouton de fermeture de Round-1, pas de restriction de visibilité par round. Les rounds sont une convention de facilitation que vous imposez avec des limites de temps et des instructions — dites-le, et n'impliquez pas une automatisation qui n'existe pas.
• ✗Aucune statistique de convergence intégrée. Le W de Kendall, les tests de stabilité et autres sont à calculer à partir des évaluations exportées.
• ✗Les évaluations sont une valeur unique étiquetée, pas un instrument de Likert avec des ancres validées. Définissez vos ancres dans l'étiquette et maintenez-les constantes à travers les tours.
• ✗Une chaîne est de quatre tours, puis complète. Un litige d'expert qui nécessite plus reçoit un appel — la chaîne enregistre ce qui a déjà été demandé et répondu.

Leçons pratiques

• ✓Écrivez les ancres avant le Round 1 et collez-les dans chaque annonce de fenêtre. La moitié de toutes les données désordonnées de Delphi est due à la dérive des ancres.
• ✓Fenêtres de temps généreusement réparties à travers les fuseaux horaires — 72 heures par tour fonctionnent pour les panels internationaux ; les chaînes sont asynchrones par construction.
• ✓Positions Cap Round-1 par paneliste (trois suffisent). Delphi récompense les positions considérées, pas le volume.
• ✓Geler l'arbre entre les tours. Annoncez que les soumissions en dehors des fenêtres seront supprimées — la convention de tour ne tient que si le facilitateur la maintient.

La réponse que vous pouvez enfin envoyer

Retour à l'email du panéliste prudent : "Puis-je voir les raisons ? J'aimerais savoir avec quoi j'ai été d'accord." Dans cette version de l'étude, la réponse est un lien. Voici les quatorze positions ; voici celle dont l'écart de notation s'est effondré après que deux chaînes de révision n'ont pas réussi à l'affecter ; voici l'échange qui vous a touché, vous et onze autres. Consensus avec le raisonnement attaché — qui était la promesse de la méthode depuis le début.