Få eksperimenter med trafikksikkerhetstiltak – fordi vi ikke liker resultatene?

«Det finnes ikke gode undersøkelser på vårt område», sa Tore Vaaje, som var trafikksikkerhetsforsker på TØI fra 1967 til 1987. Han var en av dem som tok initiativ til eksperimentet med periodisk kjøretøykontroll som pågikk i Norge fra 1986 til 1991.

Det er ett av de største, og trolig det beste, eksperimentet som noensinne er gjort med et trafikksikkerhetstiltak i verden. Periodisk kjøretøykontroll hadde ingen virkning på ulykkene.

I dette tilfellet kan vi trygt si «hadde ingen virkning». Men ellers bør vi bruke en mer forsiktig formulering: ingen virkning kunne påvises.

Et eksperiment gir oss grunnlag for sterkere konklusjoner. For i et eksperiment vet vi at den eneste forskjellen mellom de gruppene vi sammenligner, er at den ene gruppen er utsatt for tiltaket vi vil måle virkningen av, den andre gruppen (kontrollgruppen) er ikke utsatt for tiltaket. Bortsett fra dette, er gruppene helt like, og vi har dermed fjernet virkningen av alt annet som kan påvirke ulykkestallene enn det tiltaket vi eksperimenterer med.

Som regel ingen virkning

De få eksperimentene som er gjort med trafikksikkerhetstiltak har produsert 58 resultater. 49 av de 58 resultatene viser «ingen virkning», det vil si at et 95 % konfidensintervall (et område der den sanne verdien av virkningen ligger i 95 av 100 tilfeller) omfatter tallet null, altså uendret ulykkestall.

I de relativt få tilfeller der en nedgang i ulykkestall er funnet, beror dette delvis på at randomiseringen var mislykket, delvis på at tiltaket hadde en «nyhetseffekt» som senere har forsvunnet. Med mislykket randomisering menes at tiltaksgruppen og kontrollgruppen ble forskjellige, selv om de skulle ha vært like.

Eksperimenter er blitt kritisert fordi de ikke har funnet noen virkning av tiltaket. Slik kritikk er naturligvis fullstendig malplassert. Det eneste forskning kan kritiseres for, er dårlige metoder. Eksperimenter er den beste metode, så det er vanskelig å kritisere et eksperiment ved å si at metoden var dårlig.

Eksperimenter kan mislykkes. Men hvis et vellykket eksperiment finner at tiltaket ikke virker, er det tiltaket det er noe galt med, ikke eksperimentet.

Flest eksperimenter med føreropplæring

Bilføreropplæring er det tiltak det er gjort flest eksperimenter med. Resultatene er meget sammenfallende. Tiltaket har ingen virkning. Med opplæring menes her formell opplæring gitt av trafikkskoler. Slik opplæring gir ikke færre ulykker enn uformell opplæring gitt av foreldre, søsken eller andre.

Dette har vært kjent lenge, men har ikke satt nevneverdige spor etter seg i norsk føreropplæring, der kravene til formell opplæring er omfattende. Skal vi ikke tro på eksperimentene? Jeg mener at vi som regel skal det, men jeg kan gå med på at unntak fra denne regelen kan tenkes.

Vi skal tro på resultatene

Det har versert et rykte om at en italiensk delegat under forhandlingene om EØS-avtalene tidlig på 1990-tallet avviste resultatene av det norske eksperimentet med periodisk kjøretøykontroll med kommentaren: «Disse resultatene gjelder ikke i Italia». 

Uansett om ryktet er sant eller ikke, er argumentet vanlig: man søker om unntak fra forskningsresultater ved å si at de bare har lokal gyldighet. En slik tanke blir fort absurd. Forskning har ingen hensikt hvis all kunnskap bare har lokal gyldighet. For da kan jo ingen lære noe av det. Og hvis ingen kan lære noe av det, er det ikke noe vits i å drive med det.

Mitt syn er det stikk motsatte: Forskningsresultater kan generaliseres med mindre man kan gi konkrete og dokumenterte grunner for å tro noe annet. For periodisk kjøretøykontroll ville det ha vært et eksperiment i Italia, like rigorøst som det norske, der man hadde funnet en virkning av tiltaket. Uten et slikt eksperiment, blir påstanden om at resultatene ikke gjelder i Italia helt uten utsagnskraft.

Det samme kan sies om føreropplæring. Tiltaket virker ikke og de krav som i dag stilles om formell opplæring i Norge savner faglig begrunnelse. Gjør et eksperiment i Norge som viser at formell opplæring virker, så skal jeg forandre mening. For jeg tror på eksperimenter. Det er verre med dem som ikke tror på dem.

Ikke en bransje i vekst

Eksperimenter med trafikksikkerhetstiltak er ikke en bransje i vekst. Jeg fant kun få eksperimenter som er gjort etter 2000. 

Kanskje har utvikling av mer avanserte statistiske analyseteknikker fått mange til å tro at disse kan erstatte eksperimenter. Jeg synes utviklingen av statistiske analyseteknikker er imponerende, og noen av dem kan i det minste etterligne eksperimenter. Jeg tenker da på «propensity score matching», der man modellerer hva som påvirker sannsynligheten for å innføre et tiltak og definerer en kontrollgruppe der tiltaket ikke er innført, men som har samme «propensity score» som gruppen der tiltaket er innført.

For å lykkes, er metoden avhengig av at en slik kontrollgruppe kan defineres. Er ikke det mulig, forsvinner likheten med eksperimenter.

Jeg kan ikke helt fri meg for mistanken om at få eksperimenter gjøres fordi man frykter resultatene. Altfor mange eksperimenter har konkludert med «ingen virkning». Så la oss unngå dem, slik at vi kan trekke mer positive konklusjoner. Snakk om strutsepolitikk.

Referanse

Elvik, R. 2021. Why are there so few experimental road safety evaluation studies: Could their findings explain it? Accident Analysis and Prevention, 163, 106467.