Hvor mange ganger skal vi bomme på russiske invasjoner?

Manglende kompetanse

I lørdagens utgave av DN gikk Frithjof Jacobsen hardt ut mot dem som avfeide invasjonsvarslene som amerikansk propaganda. Ifølge han bør vi ikke lenger lytte til ekspertene som gjorde de groveste feilvurderingene av Russlands intensjoner. 

Flere av ekspertene som ble mye brukt i mediene før invasjonen har også blitt kritisert for å mangle kompetanse på temaene de uttalte seg om. Ifølge Sven G. Holtsmark og Torunn L. Haaland havnet de faktiske ekspertene, med møysommelig ervervet kunnskap og russisk eller ukrainsk språkkompetanse, i skyggen av de såkalte ekspertene uten slik spesialkunnskap som kun drev med offentlig synsing.

Resultatet ble en mediedekning som forledet det norske folk til å tro at sannsynligheten for at Putin ville invadere Ukraina var lavere enn det den egentlig var.

Handler ikke om ekspertise

Problemet er at mye av kritikken mot ekspertene som bommet baserer seg på en feilaktig antakelse om at spesialkunnskap om Russland har noe å si for hvor godt en klarer å forutsi konkrete hendelser, som hvorvidt landet ville invadere Ukraina.

Dermed risikerer vi å trekke feil konklusjoner om hvilke eksperter vi bør høre på neste gang det står russiske styrker på grensen.

Det er forsket mye på eksperters treffsikkerhet, spesielt i norsk sammenheng.

Fra 2017 til 2020 gjennomførte Forsvarets forskningsinstitutt (FFI) et stort eksperiment, der vi målte treffsikkerheten til hundrevis av norske forskere og offiserer. Til sammen ble det samlet inn en halv million prediksjoner på nøyaktig den typen spørsmål som hvorvidt Russland ville invadere et naboland.

Resultatene viste at ekspertise har lite å si for treffsikkerheten. Ekspertene traff generelt knapt bedre enn gjetning eller amatører. Ekspertene traff heller ikke bedre innenfor sine egne kompetanseområder. Russland-ekspertene traff faktisk dårligere på spørsmål om Russland enn fagfolkene med kompetanse på Afrika eller Asia.

Dette høres overraskende ut, men er akkurat samme funn som i tidligere studier av områdeeksperters treffsikkerhet og som i dag brukes av amerikansk etterretning.

Hvilke eksperter skal vi høre på?

Det finnes derimot en rekke andre kjennetegn på eksperter som treffer bedre enn andre.

Eksperter som alltid tar utgangspunkt i en overordnet oppfatning de har fra før, som en bestemt tolkning av hvordan internasjonal politikk fungerer, treffer dårligere enn dem som ikke tror at verden kan forklares gjennom én teori. De beste velger ulike teorier avhengig av det konkrete de skal predikere.

Problemet er at mediene ofte foretrekker eksperter med sterke, forutsigbare syn på sakene. Dette kan også forklare hvorfor mange av de mest brukte ekspertene ikke treffer så godt.

Det avgjørende er hvordan eksperter tenker når de predikerer, ikke hva de kan eller tror. Det er derfor ingen grunn til å forvente at ekspertene som tolket Russlands intensjoner riktig denne gangen, vil være bedre til å forutsi svarene på nye spørsmål, som hvor lenge krigen vil vare eller hvor lenge Putin blir sittende ved makten.

Personer som treffer bedre baserer seg oftere på en statistisk tilnærming enn på detaljkunnskaper om temaet – altså det omvendte av områdeeksperters spesialitet.

Ikke minst er de mest treffsikre mer åpne for informasjon som går imot deres etablerte oppfatninger. Et eksempel kan være Karen-Anna Eggen, som var én av få eksperter som forutså det russiske angrepet. Basert på informasjonen hun hadde konkluderte hun med at krig var det mest sannsynlige, til tross for at det ikke fremstod som logisk og fornuftig.
 

Eksperter bør tallfeste prediksjoner 

Det finnes altså eksperter som ikke bare er gode til å forklare hva som skjer akkurat nå, men også til å forutsi hva som mest sannsynlig vil skje fremover.

Problemet er at det i dag er umulig å identifisere dem på forhånd. Årsaken er at eksperter flest bruker språklige formuleringer, som «mulig» og «sannsynlig», når de beskriver hva de tror vil skje. Slike begreper er så vage at de i ettertid alltid tolkes slik at ekspertene «hadde rett». Dette gjør det svært vanskelig å måle hvor godt ekspertene vi bruker faktisk treffer.

Det finnes imidlertid en løsning. I stedet for at eksperter fortsetter å bruke vage begreper som aldri kan etterprøves, bør de begynne å tallfeste sine prediksjoner.

Når eksperter først uttaler seg om hva de tror vil skje, bør de oppgi hvor sikre de er i antall prosent. For eksempel at de mener det er 70 prosent sannsynlig med en fredsavtale før sommeren eller 20 prosent sannsynlig at Russland får en ny president før jul. Hvis ikke ekspertene tallfester prediksjonene selv, bør journalister be dem om å gjøre det.

Ansvar for egne prediksjoner

Eksperter vil vegre seg for å gjøre dette offentlig, fordi det blir lettere å «ta dem» i etterkant.

Men, ved å måle treffsikkerheten over tid kan vi unngå at eksperter som bommer på spesielt synlige hendelser, som Russlands invasjon av Ukraina, blir stemplet som lite treffsikre uten at det er grunnlag for det. Samtidig kan vi unngå at eksperter som treffer spektakulært da alle andre trodde noe annet, blir forhøyet til mer treffsikre enn de kanskje er.

Det vil ganske raskt vise seg hvem som treffer best. I FFIs studie kunne vi allerede etter 25 spørsmål identifisere dem som mest sannsynlig kom til å treffe på de neste 200 spørsmålene.

Etter å ha bommet på de to siste krigene i Europa, er det på tide at eksperter tar større ansvar for egen treffsikkerhet. En enkel måte å gjøre dette på er å begynne å tallfeste prediksjonene sine fremover. Da vil vi få et bedre grunnlag for å vite hvilke eksperter vi egentlig bør høre mer på neste gang det kan bli krig.