Trata-se de um forest plot que apareceu numa metanálise publicada ao final da história. Cada linha do forest plot corresponde a um estudo. Do lado esquerdo aparecem o número de pacientes e o número de pacientes que tiveram um desfecho ruim no grupo tratado e no grupo controle. Do lado direito, aparece o risco relativo estimado por aquele estudo, juntamente com um intervalo de confiança de 95%, mais popularmente conhecido como margem de erro. Na coluna mais à direita aparece o peso com que o estudo entrou na metanálise que foi publicada ao final da história.

Recorde que a eficácia é igual a 1 menos o risco relativo. Um risco relativo igual a 1 corresponde a nenhuma eficácia (o tratamento não faz diferença alguma) e um risco relativo menor do que 1 corresponde a um tratamento que beneficia os pacientes – quanto menor o risco relativo, maior a eficácia. Já um risco relativo maior do que 1 corresponde a um tratamento que prejudica os pacientes – quanto maior, mais prejudica.

Os habitantes desse mundo não sabem a eficácia real da droga e tentam se basear nos dados desses estudos para estimá-la. O risco relativo real é 0.7 (correspondente a uma eficácia de 30%) – eu, criador da simulação, sei disso. Os valores de risco relativo que os habitantes desse mundo observam nos estudos são estimativas desse valor real, flutuam em torno dele. Em nove dos dez estudos, o grupo tratado se saiu melhor do que o grupo controle, mas em um deles (estudo número 7) o grupo controle se saiu melhor; nesse estudo, a incidência de desfechos ruins foi 18% maior no grupo tratado. Apesar disso, é um fato que o medicamento reduz em 30% o risco de um desfecho ruim.

Em apenas um estudo o resultado obtido foi estatisticamente significativo, isto é, o p-valor ficou abaixo de 0.05; trata-se do estudo número 6, em que a eficácia foi muito superestimada (75% em vez de 30%, que é o valor real) e o intervalo de confiança não corta a linha vertical correspondente a ausência de efeito (risco relativo igual a 1). Eu, criador desse mundo e conhecedor do risco relativo real de 0.7, sei que nesse estudo não foi nem o caso que o intervalo de confiança de 95% contém o valor real do risco relativo (sim, isso é possível e acontece em média 5% do tempo).

Os p-valores obtidos nos dez estudos foram os seguintes (teste exato de Fisher bicaudal): (1) 0.138; (2) 0.677; (3) 0.718; (4) 0.173; (5) 0.367; (6) 0.001; (7) 0.651; (0.874; (9) 0.260; (10) 0.158.

Com exceção do estudo número 6, os p-valores são consideravelmente maiores do que 0.05, vários realmente bem maiores.

Esse mundo é parecido com o nosso em um aspecto: os cursos de estatística para estudantes de ciências biológicas são ruins e os autores dos estudos têm o hábito de escrever nas conclusões dos seus artigos que “não houve diferença entre o grupo tratado e o grupo controle” ou que “o medicamento não reduziu a incidência do desfecho ruim” nos estudos em que o p-valor foi maior do que 0.05. Associações de estatísticos já alertaram que as conclusões não deveriam ser escritas dessa maneira, mas ninguém dá muita atenção a eles. Alguns autores até já aprenderam a interpretar os resultados corretamente, mas a maioria não, continuam pensando e escrevendo do jeito errado que estão acostumados. “Assim aprendi”, explica um deles.

Como uma pandemia está em curso, muitos ditos “especialistas” dão entrevistas frequentemente para a imprensa. Sempre os mesmos, em geral. Eles repetem feito papagaios as conclusões dos autores (“se o próprio autor disse isso, quem sou eu para contestar”) e também compartilham de suas confusões. Depois que foi publicado o primeiro estudo, com p-valor=0.138, explicaram eles: “resultado negativo, o medicamento não ajudou os pacientes tratados”. Depois que foi publicado o segundo, com p-valor=0.677, eles estavam ainda mais convencidos: “claramente não funciona, vamos parar de perder tempo estudando isso”. Depois que foi feito o terceiro estudo, algum grupo decidiu publicar uma metanálise (veja o segundo forest plot ilustrando o post); p-valor = 0.098, não funcionou. “Esse é o prego no caixão desse medicamento”, comentou alguém.