Que devons-nous penser quand la preuve médicale ne partage pas?

Pour comprendre si un nouveau traitement pour une maladie est vraiment mieux que les anciens traitements, les médecins et les chercheurs se tournent vers les meilleures données disponibles. professionnels de la santé veulent un «dernier mot» en preuve pour régler des questions sur ce que les meilleurs modes de traitement sont.

Mais toutes les preuves médicales ne sont pas égales. Et il existe une hiérarchie claire des preuves: l'opinion d'experts et les rapports de cas sur les événements individuels sont au niveau le plus bas, et les essais contrôlés randomisés bien conduits sont proches du sommet. Au sommet de cette hiérarchie se trouvent des méta-analyses - des études qui combinent les résultats de plusieurs études qui ont posé la même question. Et le très, très haut de cette hiérarchie sont des méta-analyses effectuées par un groupe appelé le Cochrane Collaboration.

Pour être membre de la Collaboration Cochrane, les chercheurs individuels ou les groupes de recherche sont tenus de se conformer à des directives très strictes sur la façon dont les méta-analyses doivent être rapportées et menées. C'est pourquoi les revues Cochrane sont généralement considérées comme les meilleures méta-analyses.

Cependant, personne n'a jamais demandé si les résultats des méta-analyses effectuées par la Collaboration Cochrane étaient différents des méta-analyses d'autres sources. En théorie, si vous compariez une méta-analyse Cochrane et une méta-analyse non-Cocrhane, toutes deux publiées dans un délai similaire, vous auriez tendance à penser qu'elles auraient choisi les mêmes études à analyser et que leurs résultats et leur interprétation seraient plus utiles. ou moins correspondre.

Notre équipe de l'école de santé publique de l'université de Boston a décidé de le découvrir. Et étonnamment, ce n'est pas ce que nous avons trouvé.


graphique d'abonnement intérieur


Qu'est-ce qu'une méta-analyse, de toute façon?

Imaginez que vous ayez cinq petits essais cliniques qui ont tous trouvé un bénéfice généralement positif pour, disons, la prise d'aspirine pour prévenir les crises cardiaques. Mais parce que chacune des études ne comptait qu'un petit nombre de sujets d'étude, aucun ne pouvait affirmer avec certitude que les effets bénéfiques n'étaient pas simplement dus au hasard. En statistique, de telles études seraient jugées "sous-alimentées".

Il y a un bon moyen d'augmenter le pouvoir statistique de ces études: combiner ces cinq plus petites études en une seule. C'est ce que fait une méta-anis. Combiner plusieurs études plus petites en une seule analyse et prendre la moyenne de ces études peut parfois faire pencher la balance, et laisser la communauté médicale savoir avec certitude si une intervention donnée fonctionne ou non.

Les méta-analyses sont efficaces et bon marché car elles n'exigent pas de nouveaux essais. Il s'agit plutôt de trouver toutes les études pertinentes qui ont déjà été publiées, ce qui peut être étonnamment difficile. Les chercheurs doivent être persistants et méthodiques dans leur recherche. Trouver des études et décider si elles sont assez bonnes pour faire confiance est là où l'art - et l'erreur - de cette science devient un problème critique.

C'est en fait une raison majeure pour laquelle la Collaboration Cochrane a été fondée. Archie Cochrane, chercheur dans le domaine des services de santé, a reconnu le pouvoir des méta-analyses, mais aussi l'énorme importance de bien les faire. Les méta-analyses de Cochrane Collaboration doivent respecter des normes très élevées de transparence et de rigueur méthodologique et de reproductibilité.

Malheureusement, peu de gens peuvent consacrer le temps et d'efforts pour se joindre à la Collaboration Cochrane, et cela signifie que la grande majorité des méta-analyses ne sont pas menées par la collaboration, et ne sont pas tenus de se conformer à leurs normes. Mais est-ce réellement important?

En quoi deux méta-analyses peuvent-elles être différentes?

Pour le savoir, nous avons commencé par l'identification de paires 40 de méta-analyses, l'une de Cochrane et on ne, qui couvraient la même intervention (par exemple, l'aspirine) et les résultats (par exemple, les crises cardiaques), puis comparés et les contrastaient.

Premièrement, nous avons constaté que près de 40% des méta-analyses Cochrane et non-Cochrane n'étaient pas d'accord dans leurs réponses statistiques. Cela signifie que les lecteurs, les médecins ou les responsables des politiques de la santé, par exemple, trouveraient une interprétation fondamentalement différente de l'efficacité de l'intervention, selon les méta-analyses qu'ils ont lues.

Deuxièmement, ces différences semblent être systématique. Les avis non-Cochrane, en moyenne, ont eu tendance à penser que les interventions qu'ils testent étaient plus puissants, plus susceptibles de guérir la maladie ou d'éviter certaines complications médicales que les revues Cochrane suggéré. Dans le même temps, les examens non-Cochrane étaient moins précis dans leur exactitude, ce qui signifie qu'il y avait plus de chances que les résultats étaient simplement dues au hasard.

Une méta-analyse n'est rien de plus qu'une simple moyenne pondérée de ses études de composants. Nous avons été surpris de constater qu’environ 63 pour cent des études incluses étaient uniques à l’un ou l’autre ensemble de méta-analyses. En d’autres termes, malgré le fait que les deux séries de méta-analyses rechercheraient vraisemblablement les mêmes documents, en utilisant des critères de recherche similaires, sur une période de temps similaire et à partir de bases de données similaires, environ un tiers seulement des documents des deux séries avaient inclus étaient les mêmes.

Il semble probable que la plupart ou la totalité de ces différences se résument au fait que Cochrane insiste sur des critères plus stricts. Une méta-analyse est seulement aussi bonne que les études qu'elle comprend, et en prenant la moyenne de la mauvaise recherche peut conduire à un résultat médiocre. Comme le dit le proverbe, "garbage in, garbage out".

Fait intéressant, les analyses qui ont rapporté des tailles d'effet beaucoup plus élevés ont tendance à se citer à nouveau dans d'autres documents à un taux beaucoup plus élevé que les analyses de rapports de la taille de l'effet inférieur. Ceci est un mode de réalisation statistique du vieil adage journalistique "Si ça saigne, elle conduit." Gros et gras effets obtiennent plus d'attention que les résultats montrant des résultats marginaux ou équivoques. La communauté médicale est, après tout, juste humain.

Pourquoi cette question?

À son niveau le plus élémentaire, cela montre qu'Archie Cochrane avait tout à fait raison. La cohérence méthodologique, la rigueur et la transparence sont essentielles. Sans cela, il y a un risque de conclure que quelque chose fonctionne quand ce n'est pas le cas, ou même simplement de sur-typer les avantages.

Mais à un niveau supérieur, cela nous montre, encore une fois, à quel point il est difficile de générer une interprétation unifiée de la littérature médicale. Les méta-analyses sont souvent utilisées comme le dernier mot sur un sujet donné, comme les arbitres de l'ambiguïté.

Il est clair que ce rôle est contesté par le fait que deux méta-analyses, apparemment sur le même sujet, peuvent aboutir à des conclusions différentes. Si nous considérons la méta-analyse comme le «gold standard» dans notre ère actuelle de la «médecine fondée sur des preuves," comment est le médecin moyen ou décideur politique ou même patient à réagir lorsque deux règles d'or se contredisent? caveat emptor.

A propos de l'auteurThe Conversation

Christopher J. Gill, professeur agrégé, Département de la santé mondiale; Spécialiste des maladies infectieuses, Université de Boston.

Cet article a été publié initialement le The Conversation. Lis le article original.


Livre connexe:

at Marché InnerSelf et Amazon