Den offentlige sektor bruger hvert år milliarder af kroner på nye tiltag, der lyder gode på papiret, men hvor ingen kender effekten for de borgere, man ønsker at hjælpe.
Skoler køber ipads uden at vide, om børnene bliver dygtigere. Kommunerne bruger milliarder på jobcentrene uden at kunne dokumentere, hvor mange de får i arbejde. Unge bliver tilbudt uddannelsestilbud, der sandsynligvis ikke virker, og sådan kan man blive ved. Samtidig er evalueringerne af tiltagene ofte så dårlige, at andre ikke kan bruge resultaterne til noget.
Problemet er ikke kun dansk. I USA har What Works Clearinghouse (WWC) gennemgået evalueringerne af 10.000 tiltag i uddannelsessektoren. Kun 6 pct. af evalueringerne lever fuldt ud op til WWC’s kvalitetskrav om bl.a. randomiserede forsøg. Og af de 6 pct. var det endda kun ca. hver tredje, hvor man kunne dokumentere en effekt. Der var altså under 2 pct. af alle studierne, hvor man med sikkerhed så en effekt af tiltaget.
Man hører ofte politikere udtale, at nu gør vi x for at få y. Men sandheden er, at der bliver skudt med spredehagl i blinde, i stedet for at fokusere på de ting, der virker. Københavns Beskæftigelses- og Integrationsforvaltning havde i maj hele 48 igangværende integrationsprojekter. Hvis WWC’s erfaringer også gælder her, bliver kun tre af projekterne evalueret rigtigt, og kun ét af projekterne har reelt en effekt.
Og det er en risikabel måde at behandle menneskers liv på. For et tiltag, der lyder positivt, kan godt have meget uønskede effekter. I et randomiseret forsøg i USA fik halvdelen af testpersonerne en mentorordning, mens de øvrige var kontrolgruppe. Da man senere målte effekten, viste resultaterne, at mentorordningen havde en signifikant, negativ effekt på hver eneste af de parametre, man målte på. De personer, der blev tildelt en mentor, blev simpelthen mere kriminelle, mere syge osv.
Det betyder selvfølgelig ikke, at man aldrig skal gøre noget. Men det betyder, at det ikke er nok, at noget lyder godt. Effekten af tiltaget skal være dokumenteret gennem videnskabelige tests, som vi f.eks. kender det fra medicinalindustrien. Ellers kan tiltaget, ganske som ikke-testet medicin, ende med at gøre mere skade end gavn.
Når kommuner mv. laver nye tiltag, bør de derfor gøre sig klart, om de ønsker at 1) gøre noget godt for målgruppen, eller 2) bidrage med ny viden. Hvis det er 1), skal de vælge tiltag, hvor der er solid dokumentation for effekten, så de ved, at de hjælper målgruppen. Hvis det er 2), skal de sikre, at evalueringen bliver grundig. Det kan betyde randomiserede forsøg og opfølgning på folks liv i årevis. Og at evalueringen kan være mange gange dyrere end selve tiltaget og kun i få tilfælde vil vise den ønskede effekt.
Men hvorfor skulle det egentlig også være mere acceptabelt at behandle folks liv med ikke-testede tiltag, end det er at behandle folks kroppe med ikke-testet medicin?
PS: Ovenstående indlæg blev også bragt i Børsen d. 3. august 2017
