Vi har vært innom det før: Publisering via presseuttalelse er ikke spesielt velegnet for vitenskapelige funn. Først peer review, så publisering, til slutt presse. Ellers får man «nyheter» som fort kan vise seg å være tvilsomme.

Case in point: meldingen om et gjennombrudd for HIV-vaksine. Det så ut som et lite håp om et slags gjennombrudd:

Vaksinen minsket risikoen for å bli smittet av HIV-viruset med mer enn 31 prosent, viser studien som ble gjennomført på mer enn 16 000 frivillige i Thailand. Forskerne bak kaller resultatene et «gjennombrudd».

Vel. Kanskje. Men det var et varselstegn der allerede: «melder blant andre nyhetsbyrået AP. »

Undersøker man hva de skrev og deretter selve pressemeldingen, leter man begge steder lenge og resultatløst etter hvor studien var publisert.

Jeg tenkte ikke på det da, men nå ser det altså ut til at det er fordi den ikke er publisert ennå. Det er bloggen til Science som påpeker at «all the findings will be discussed on 20 October at an open AIDS vaccine meeting in Paris» og at paperet fortsatt er under review hos NEJM.

Hvor kommer det nedslående inn? Vel, det regnes først og fremst som brudd på god forskningsskikk å gå frem på denne måten med omtale. Men det som heller isvann i buksene nok en gang er dette: Mens første analyse, den som blir omtalt i pressemeldingen og pressedekningen viste at

Seventy-four people in the placebo arm of the study became infected with HIV, while the similarly sized vaccinated group only had 51 infections—a 31.2% efficacy. The analysis indicated that there was about a 96% level of confidence that the effect was real and not due to chance—just above the 95% cutoff that is widely used as a measure of statistical significance.

så var det dessverre slik at

a second analysis, which is usually performed in vaccine studies and was part of the Thai study’s design, also found that vaccine recipients had fewer infections, but the reduction was not statistically significant and the level of efficacy was slightly lower. This analysis eliminated people in both groups who did not rigorously follow the protocols.

Ikke signifikant. Man ville forvente mer robuste resultat om det var en reell effekt. Hvilket ikke betyr at det ikke kan vise seg å være noe der. Men det virker mindre sannsynlig og atskillig mindre å skrive hjem om.

Det som derimot fort blir å skrive hjem om, er at man valgte å presentere bare den positive analysen. Ikke bra.

(Via Ben Goldacres miniblog)