Inflätad och löpande utvecklingsutvärdering

ingår i  

Styring og evaluering i den offentlige sektor

 Festskrift till Hanne Foss Hansen, Köbenhavns universitet

 Oktober 2017

000_1K_HanneFossHansenFestskrift/EV-InflätadLöpandeUtvecklsutvärdering_v25C

Evert Vedung
Professor emeritus, Uppsala universitet
evert.vedung@ibf.uu.se

Inflätad utvärdering i tre avseenden

När en utvärdering är inflätad är den integrerad (invävd) i det insatsarbete som bedöms. Metaforen inflätad är min egen; den härrör från människors, särskilt kvinnors hårflätor. En utvärdering är inflätad i det utvärderade insatsarbetet på samma sätt som en hårslinga är inflätad i andra. I analogi med ”braided river” borde vi på engelska säga braided evaluation, på tyska geflechtete Evaluation.

I föreliggande fall manifesterades inflätningen på följande tre sätt:
1) medlemmarna av utvärderingsgruppen utgjordes av utvalda personer, verksamma i GeVux
2) insamling, viss analys, dokumentation och förmedling av information till utvärderingsgruppen ombesörjdes av personer verksamma i GeVux;
3) utvärderingens analyser, baserade bl a på information enligt 2), kopplades fortgående tillbaka till all personal som jobbade i GeVux.

Den första typen av inflätning handlade alltså om att utvärderingsgruppens medlemmar var djupt involverade i det projekt GeVux som utvärderades.

Utvärderingsgruppens ordförande Janet Wohlfarth var samtidigt ledare för hela projekt GeVux. Projektledaren fick förestå och bära huvudansvaret för jobbet att tänka ut hur utvärderingen av projektet skulle läggas upp, genomföras och rapporteras. Arbetet bestod i att förbereda möten, upprätta dagordning, kalla till möten, sitta ordförande, initiera och dirigera jobbet att samla in data, medverka i sysslan att kategorisera och språkligt bearbeta information samt rapportera utvärderande analyser. Chefen för projektet var med andra ord också chef för utvärderingen av projektet; hon ansvarade för att den vevades igång, dunkade på och producerade analyser som sedan spreds och nyttjades.

Ur kretsen av verksamhetsansvariga i GeVux valde projektledaren i samråd med linjecheferna i GeVux ledningsgrupp ut andra personer till utvärderingslaget. En linjechef från Arbetsmarknadsenheten i Vara kommun (Ulrika Gardtman) fick ingå. Projektsamordnaren för hela verksamheten i GeVux tillika arbetande rehabcoach på halvtid i Essunga kommun (Birgitta Lindberg) tackade ja till att delta i utv-gruppen liksom processtödjaren från SoF Västra Skaraborgs kansli (Elisabeth Gilbertsson, senare Jacqueline Karvik). En utredare som utvecklat den s.k. BEMA-metoden för arbetsförmågebedömning (Mona Runesson) rekryterades till utvärderingslaget från hösten 2011 i och med att projektet beviljats medel att konstruera två faser till i behandlingsmetoden (Klarlägga och Anpassa) för att komplettera den inledande fasen Återhämta; resultatet kom att kallas ÅKA-modellen. I laget ingick också sedan 1 januari 2011 ordföranden i SoF Västra Skaraborg (Erik Kvarndal, politiker, c).

Ytterligare en informant i utvärderingsgruppen var en fristående konsult, Zelma Fors (psykolog, fil.dr) med uppdrag i GeVux att handleda och stötta projektets rehabcoacher. Rehabcoacherna i de fem deltagande kommunerna var projektets frontbyråkrater, som nära nog dagligen operativt arbetade med målgruppen. Stödet till denna baspersonal skedde telefonledes men framför allt genom att Fors regelbundet samlade coacherna till nätverksträffar. Nätverkets uppgift var att ”diskutera … både framgångsfaktorer och dilemman i det dagliga arbetet”. Konsultens råd och stöd gällde både enskilda coacher och coachgruppen som helhet. Hon fick också ansvara för att systematiskt dokumentera teoretiska insikter genererade av arbetsprocesserna i GeVux samt återrapportera dessa till utv-gruppen.

Alla hittills nämnda ledamöter av utvärderingsgruppen var samtidigt arbetande intressenter i det projekt som utvärderades. Men det fanns en ledamot som inte var programintressent. Som expert på utvärdering engagerades nämligen en professor emeritus i statskunskap vid Uppsala universitet, Evert Vedung. Han förväntades vägleda övriga ledamöter i praktiskt utvärderingsarbete samt tillsammans med utv-gruppens ordförande svara för utvärderande analys och rapportering. Han torde ha varit hyggligt hemmastadd i utvärdering men knappast inläst på sakfrågan. Och med den dagliga verksamheten i GeVux hade han ingenting att göra.

Denna den andra typen av inflätning av utvärderingen i det utvärderade handlade om att insamling, dokumentation, viss analys och förmedling av data till utvärderingsgruppen ombesörjdes av personer verksamma i projektet GeVux, dvs. det initiativ som utvärderades. Ämnesområdets avgränsning, de övergripande utvärderingsfrågornas utformning och delfrågornas specificering bestämdes förvisso av den särskilda utvärderingsgruppen och dess ordförande. Här beslutades också vem som skulle ansvara för materialinsamlandet och vid vilka tidpunkter insamlandet skulle ske. Insamling och dokumentering av det insamlade skulle pågå kontinuerligt och i tidsmässig nära anslutning till själva händelseutvecklingen. Och det skulle skötas framför allt av rehabcoacher/frontbyråkrater och brukare i GeVux. Och allt detta skulle ske i realtid parallellt med att den utvärderade verksamheten fortgick, inte långt efteråt.[1]

Vid sidan av denna knäsatta rutin bidrog utvärderingsgruppens medlemmar med egna observationer och insikter från sina respektive utsiktspunkter i GeVux. Informationer, som på detta sätt flödade in, använde den särskilda utvärderingsgruppen sedan i sitt förädlingsarbete.

Slutligen integrerades utvärderingen genom att dess uppläggning och resultat fortgående kopplades tillbaka till all personal som jobbade i GeVux. Detta var den tredje typen av inflätning, som kännetecknade den utvecklande utvärderingen. GeVux-personalen skulle lära sig att bli bättre rehabcoacher, processledare, projektsamordnare och styrgruppsledamöter genom att lära sig av utvärderingens uppläggning och resultat. Insikter från utvärderingen skulle implementeras (införlivas) i personalens fortsatta handlande. Så var det tredje inslaget av integration tänkt att fungera[2].

En komponent i denna återkoppling var lärandekonferensen. Lärandekonferens 2010 – den första – ägde rum i mars 2011 (Wohlrath 2010). På den behandlades rapporten ”GEVALIS Vuxna – en resa i lärande – 2010”. Den kom att ingå i en serie av lärandekonferenser under 2012 och 2013. Vid lärandekonferensen samlades alla icke-deltagare som var involverade i projekt GeVux (coacher, linjechefer, projektledaren, politiker från samordningsförbund och de fem kommunerna i kommunparten, administratörer och ekonomer samt utvärderingsgruppen) för att ha en dialog om resultat och fortsatta vägval.

Från 2010 och framöver fick coacher, linjechefer och andra intressenter löpande information om uppkomna resultat av projektsamordnaren (Birgitta Lindberg), som tillika var deltagare i utvärderingsnätverket. De erbjöds därmed möjlighet att göra vägval och justera inriktningar under löpande verksamhetsår.

[1] För självvärdering se t.ex. Hertting & Vedung 2009: 63, 153-153, 204, 229-231 och där angiven litteratur.
[2] Jfr Sandell 2003 för en annan sorts integrerad utvärdering. En alternativ term vore ”införlivande”.