Forskningskultur og randomisering

Det er ikke bare forskjell på kvalitet i tidsskrifter som teller. I Snake Oil Science kommenterer Barker Bausell at det er visse områder i verden hvor den medisinske forskningskulturen sitter såpass overfladisk i veggene at han han vil foretrekke å holde publikasjoner fra disse landene utenfor når man vurderer samlede resultater. Som jeg har vært innom tidligere gjelder det blant annet Russland og Kina, hvor (for å oppsummere) et tidligere systematisk review fant at «No trial published in China or Russia/USSR found a test treatment to be ineffective.»

Det har bedret seg litt, men nå viser det seg at kinesisk randomisering heller ikke helt er randomisering. En undersøkelse i Trials kommenterer at:

From an initial sample of 37,313 articles identified in the China National Knowledge Infrastructure database, we found 3137 apparent randomized controlled trials. Of these, 1452 were studies of conventional medicine (published in 411 journals) and 1685 were studies of traditional Chinese medicine (published in 352 journals). Interviews with the authors of 2235 of these reports revealed that only 207 studies adhered to accepted methodology for randomization and could on those grounds be deemed authentic randomized controlled trials (6.8%, 95% confidence interval 5.9-7.7). There was no statistically significant difference in the rate of authenticity between randomized controlled trials of traditional interventions and those of conventional interventions.

Det er, som de interesserte vil se, min utheving.

Mest for å antyde at det fortsatt er et stykke igjen å gå, og at det nok ikke kommer til å bli uproblematisk å trekke inn data i metaanalyser med det helt første.

(Via Ben Goldacres miniblog.)