Les experts se sont trompés de façon catastrophique, selon Dominic Cummings, ancien conseiller en chef du Premier ministre britannique Boris Johnson. Cummings a fait valoir que l'avis scientifique officiel du gouvernement britannique en mars 2020 a énormément mal compris comment la pandémie se déroulerait, ce qui a entraîné un retard dans le verrouillage qui a coûté des milliers de vies.

Selon Cummings, ce sont certains spécialistes ayant moins de connaissances sur les pandémies ou la médecine - comme le data scientist Ben Warner, le chercheur en intelligence artificielle Demis Hassabis de DeepMind et le mathématicien Tim Gowers - qui ont donné des prévisions plus précises à ce stade.

Cummings est également connu pour être un ventilateur of Superprévision par Philip Tetlock, un livre sur les personnes qui prédisent les événements futurs de manière plus fiable que la plupart. Quelques superforecasters ont été loués pour leurs prédictions sur la pandémie, tandis que d'autres ont également été critique des experts record.

Les gouvernements devraient-ils donc utiliser davantage les superforecasters au lieu de compter sur des experts scientifiques? Les preuves ne sont pas aussi claires. Mais il semble certainement y avoir des choses que les gouvernements pourraient apprendre de la superprévision.

Dans un célèbre étude américaine sur les superforecasters publiés en 2014, ils formaient un équipage d'élite. Seuls les 2% des meilleurs prétendants ont assez bien performé dans un tournoi de prévisions géopolitiques pour remporter le titre. Leur tâche consistait à attribuer des probabilités aux réponses possibles à des dizaines de questions.

Les chercheurs fournissent quelques exemples illustratifs. Qui serait le président de la Russie en 2012? La Corée du Nord fera-t-elle exploser une autre arme nucléaire dans les trois prochains mois? Combien de réfugiés fuiront la Syrie l'année prochaine?

Bien sûr, ce n'est pas parce qu'une personne réussit bien un an qu'elle est plus qualifiée que quiconque. Peut-être qu'ils ont juste eu de la chance. Nous devons regarder à quel point ils ont réussi les années suivantes pour évaluer à quel point ils sont vraiment «super».

De manière impressionnante, ces superforecasters ont maintenu leur avantage alors que le tournoi se prolongeait pendant trois ans de plus. En fait, après avoir été regroupées dans des «équipes de superprévisions» ne contenant que les autres meilleurs joueurs, leurs performances ont augmenté d'une marge substantielle. Les chercheurs ont également constaté que le fait de travailler en équipe et de suivre une formation appropriée améliorait les performances des autres prévisionnistes, par rapport aux prévisionnistes en condition de contrôle.

Équipes et formation

Que nous prenions ou non Cummings au mot que la planification de la pandémie au Royaume-Uni a souffert d'une «bulle de réflexion de groupe classique», nous savons que les équipes ne prennent pas toujours de sages décisions. Qu'est-ce qui a rendu les équipes plus fructueuses dans l'étude américaine?

C'est difficile à dire avec certitude, mais les chercheurs ont spécifiquement encouragé les équipes à poser des questions précises pour encourager une réflexion plus claire sur les preuves à l'appui d'une prévision particulière, à «rechercher des preuves qui contredisent votre prédiction actuelle» et à introduire de manière constructive des points de vue alternatifs .

Un tel débat pourrait bien améliorer le jugement collectif et se prémunir contre la pensée de groupe. Les membres de l'équipe n'étaient pas non plus tenus de parvenir à un consensus. Bien qu'ils partageaient des informations et des opinions, ils ont quand même fait des prédictions individuelles qui ont été combinées par algorithme. Les équipes Superforecaster en particulier étaient très engagé, partageant fréquemment des informations et posant des questions aux autres membres de l'équipe.

Une autre étude a examiné de plus près les techniques de formation spécifiques qui semblaient les plus utiles. Trois techniques étaient particulièrement associées à une plus grande précision. Le premier était l'utilisation de soi-disant classes de comparaison.

Par exemple, si j'essaie de prédire la probabilité que Benedict Cumberbatch et Sophie Hunter soient toujours ensemble dans cinq ans, il peut être utile de penser à d'autres «classes» pertinentes - par exemple, la classe des mariages de célébrités, ou même mariages en général. Cela me permet de me tourner vers l'histoire pour éclairer mes prédictions: quel pourcentage de mariages de célébrités se terminent au cours d'une période donnée de cinq ans?

Le second était d'utiliser des modèles mathématiques et statistiques, lorsqu'ils étaient disponibles, pour aider à éclairer ses points de vue. La troisième était de «sélectionner les bonnes questions» - une recommandation de passer plus de temps à prédire les réponses aux questions pour lesquelles vous en savez plus que d'autres sur le sujet, ou sur lesquelles des recherches supplémentaires sont susceptibles de porter leurs fruits. Cependant, les chercheurs ont souligné que tous les composants de la formation peut avoir contribué de manière globale à de meilleures performances.

La recherche a également montré que la précision s'améliore lorsque nous suivons nos performances passées - mais le type de rétroaction compte. Les résultats que vous pensiez se produire 20% du temps se produisent-ils réellement 20% du temps? Qu'en est-il des résultats que vous pensiez arriver 90% du temps? Les performances s'améliorent pour ceux qui reçoivent ce type d'informations.

Les gouvernements peuvent-ils faire mieux?

Le gouvernement britannique aurait-il pu faire mieux sur COVID-19 en sollicitant la contribution d'équipes de superforecasters? C'est possible. Superforecasters à Bon jugement ouvert et des prévisionnistes expérimentés à Métaculus (auquel j'ai participé) chacun semble avoir bien fait sur COVID-19, avec Metaculus prétendant avoir surperformé les experts en juin 2020. Cela dit, dans un série récente des prévisions liées au COVID-19, les prévisionnistes formés n'étaient pas toujours plus précis que les experts. Les chercheurs à l'origine de l'enquête expérimentent des moyens de combiner les prédictions d'experts du domaine et de prévisionnistes formés en une «prévision consensuelle».

Il semble également plausible que même la formation qui a aidé les non-supers à faire de meilleures prévisions aurait été utile. Par exemple, Cummings a affirmé que bien que les modèles épidémiologiques aient fait l'objet d'une grande attention, les preuves qui contredisaient les hypothèses des modèles - telles que les données rapportées par les unités de soins intensifs - ont été ignorées. Il semble certainement plausible qu'une personne formée à «rechercher des preuves qui contredisent votre prédiction actuelle» l'ait repérée plus tôt.

Bien entendu, toutes les recommandations de la littérature ne sont pas applicables dans les contextes gouvernementaux. En théorie, les gouvernements pourraient tester eux-mêmes ces recommandations, en adoptant celles qui semblaient bénéfiques. Malheureusement, vous ne pouvez pas améliorer ce que vous ne mesurez pas.

In Superprévision, Tetlock souligne que toute organisation soucieuse d'améliorer ses prévisions doit y attacher des chiffres concrets, au moins en interne. Une phrase comme «possibilité sérieuse» peut signifier 20% de chances pour une personne et 80% de chances pour une autre.

C'est presque certainement ce à quoi Cummings faisait référence quand il a dit: "Un type appelé Phil Tetlock a écrit un livre et dans ce livre il a dit que vous ne devriez pas utiliser des mots comme raisonnable et probable et probable, car cela déroute tout le monde." Cela ne devrait peut-être pas nous surprendre si les organisations qui ne font pas de prévisions de manière à pouvoir les évaluer ne sont pas équipées pour apprendre à les améliorer. Pour vous améliorer, vous devez d'abord essayer.