«Fravær av bevis er ikke det samme som bevis på fravær», sier en setning som ofte brukes i sammenheng med undersøkelser av det (vitenskapelig sett) mer marginale. Og det er et godt, om enn ofte misforstått utgangspunkt. To ting er helt sentrale: hva vi mener med «bevis» og hva som er konteksten til «fravær». Mange […]

«Fravær av bevis er ikke det samme som bevis på fravær», sier en setning som ofte brukes i sammenheng med undersøkelser av det (vitenskapelig sett) mer marginale. Og det er et godt, om enn ofte misforstått utgangspunkt. To ting er helt sentrale: hva vi mener med «bevis» og hva som er konteksten til «fravær».
Mange kan fortelle om at de er blitt helbredet etter behandling x, y eller z. Er det bevis for at behandlingene virker? Mange rapporterer å ha sett «Nessie» eller «Bigfoot», og det finnes dårlige, kornete bilder. Er det bevis?
Hvis det er det, hva betyr fraværet av alle de andre indikasjonene man skulle vente? Fravær av bevis betyr noe helt annet etter at man har undersøkt et felt med relevante metoder, og sett etter indikasjoner som det postulerte fenomenet skulle ha etterlatt, enn før man har gjort noen undersøkelser.
I tillegg kommer en rekke mer kompliserte ting som f.eks. «prior probability», som er et vesentlig moment når det gjelder vurdering av alternative behandlingsformer. Og det var til det siste jeg skulle her. Hva slags implikasjoner har «absence of evidence is not evidence of absence» når vi anvender det på alternative behandlinger? Hvilke bør det ha?

Vi har flere mulige utgangspunkt. Ett av dem er å «la tvilen komme tiltalte til gode». Fravær av bevis kan bety at feltet ikke er undersøkt godt nok, eller at det ikke er undersøkt med riktige metoder. Da kan man begå en «type 2 feil», og det vil man helst ikke. Hvis man går langt nok med det utgangspunktet ender imidlertid det meste av undersøkelser fort opp med et «mer forskning trenges». Vi får aldri konkludere. (På sitt verste ser vi det i postulat om
«sjenerthetseffekter»
som forklaring på at fenomen ikke viser seg under kontrollerte forhold.)
Et annet utgangspunkt er å starte fra de teorier og data som fremlegges og se på dem i lys av «prior probability»: Hvis teorien virker helt urimelig ut fra andre ting vi er så sikre vi kan være om at er kunnskap, gis det ingen gode grunner til å fortsette undersøkelser langs de linjene. (Med et mulig unntak av om data skulle være usedvanlig interessante.)
Et godt møtepunkt er muligens et sted der sinnet er «åpent nok» til at en postulert behandling med selv (svært?) urimelig teori, men en del lovende, angivelige støttende data blir undersøkt, men der man er villig til å stoppe.
Det gjelder i utgangspunktet forskningsbiten, men jeg mener den har vesentlige implikasjoner på behandlingsnivå.
La oss et øyeblik være like strenge med behandlinger som virker å være i strid med hva vi ellers vet, som vi på vårt beste forsøker å være med behandlinger som ellers er i tråd med hva vi mener å vite. Stiller vi samme krav til begge, er det slik at fravær av bevis på effekt ikke betyr at vi vet at det ikke virker, men vi vet like selvsagt ikke det omvendte. Det at noe ikke er undersøkt godt nok, betyr at vi ikke vet om det virker. og hva slags grunnlag er det for en anbefaling av bruk? Eller salg av en tjeneste?
Det blir minst like sentralt når vi kommer til den andre siden av «effekt»: At en behandling ikke er dokumentert effektiv betyr samtidig like selvfølgelig ikke at den er risikofri. Det er et separat spørsmål. Fravær av data om en behandlings terapeutiske risiki betyr fortsatt bare at vi ikke vet. For mitt vedkommende har jeg dermed konkludert (riktignok midlertidig og usikkert) med at en behandling bør betraktes som potensielt uvirksom og utrygg inntil annet er påvist.
Som jeg har vært inne på i artikkelen om mulig skadelig terapi, mener jeg for øyeblikket at alle behandlinger betraktes som eksperimentelle inntil de er tilstrekkelig dokumenterte: La dem som ønsker å prøve dem ut søke etiske råd, lage forsøksprotokoller og rekruttere pasienter med full informasjon.
Det høres strengt ut. Men det var dermed en viss gjenkjennelsens glede jeg bladde i Ernsts forskningsguide og så at oppslaget om «Absence of evidence» inneholdt (mer økonomisk og elegant) omtrent argumentet jeg har presentert over, med konklusjonene:
– «we need positive proof to isue positive recommendations»
– «Therapy X has to be regarded as unsafe until positive evidence of its safety is available.» (s.129)
Og selvfølgelig er ikke anekdoter bevis. Hvilket ikke betyr at de ikke kan ha en rolle, slik Steven Novella forteller.