Confirmation bias er navnet på en vitenskapelig praksis som medfører betydelig fare for å komme til feil konklusjon: Nemlig at man kun ser etter effekter som bekrefter hypotesen man vil teste, i stedet for at man ser etter effekter som motbeviser den. Confirmation bias nevnes ofte som (delvis) forklaring på hvorfor presumptivt fornuftige forskere forfølger helt gale teorier, iblant så innbitt at de helt ødelegger sin egen karriere. (Begrepet har vært nevnt på bloggen før.)
Til glede for gamle og nye skeptikere finnes det en grei artikkel på Ars Technica med tittelen Confirmation bias in science: how to avoid it. Den begynner med tre kjente eksempler (N-rays, homøopati og fri sex i Samoa), men det beste er en beskrivelse av forfatterens egne erfaringer med et større eksperiment:
[…] about two years of work. But the total amount of time coding the model? Maybe 24 hours, total. OK, call it 36 hours with some debugging. Running the code to get results? Maybe a minute per parameter set, so let’s call it a month.
So that’s 32 days from around 730 total. What was all the rest of that time devoted to? Trying to anticipate every possible objection to our approach. Checking if those objections were valid. Trying to find examples of physically realistic parameters to test our model with. Seeing if the code was actually modeling what we thought it was. Making sure that our assumptions were valid. In summary, we were trying to prove ourselves wrong.
This is always the first step in the scientific process. I have an idea, I discuss it with my colleagues, and we try to destroy it. The better the idea sounds, the harder we try. Scientists are very wary of the «too good to be true» syndrome. Moving on from that, when data turns up, we try to destroy that too. Is that noise? Is the numerical routine unstable? Are we seeing the accumulation of rounding errors? Maybe the signal is not signal?
Gå hen og les hele artikkelen. Det er den verdt. Og avslutningen er nesten som en (kort!) thriller.