Resultaten – Evaluatie Wederopbouw- en SPCC-programma's en ARC-tenderproces
Het IOB-rapport 'Less Pretension, More Realism' bevat lessen en aanbevelingen ter verbetering van programma’s gericht op het behalen van duurzame resultaten voor kwetsbare gemeenschappen in onveilige situaties.
Het Wederopbouwprogramma (2012-2015) en het Strategische Partnerschappen Chronische Crises programma (SPCC, 2014-2016) waren twee belangrijke componenten binnen het speerpunt Veiligheid & Rechtsorde. Via deze programma's voerden verschillende Nederlandse en internationale ngo's 36 projecten uit in 24 landen. Het gezamenlijke budget was ongeveer EUR 154 miljoen. Deze evaluatie onderzocht de effectiviteit van beide programma's. Daarnaast keek de evaluatie naar de tenderfase van het daaropvolgende Addressing Root Causes programma (ARC, 2016-2021).
Centrale vraag
Zijn de Wederopbouw- en SPCC-programma’s effectief geweest, en hoe kunnen programma’s die gericht zijn op het aanpakken van conflict en onveiligheid worden verbeterd?
Conclusies
De belangrijkste bevinding uit de evaluatie is dat de Wederopbouw en SPCC-programma’s tastbare resultaten hebben opgeleverd op output niveau (zoals opgezette vredescomités en infrastructuur), maar dat de resultaten op outcome en impact niveau op de langere termijn beperkt bleven tot individuele gevallen of slechts op lokale schaal zichtbaar waren.
De resultaten waren niet altijd duurzaam; slechts in enkele gevallen was een verbetering te zien in de (sociaal)economische ontwikkeling of op het gebied van conflictpreventie en veiligheid op dorps of (sub)nationaal niveau. Dit is slechts voor een deel toe te schrijven aan de complexe en dynamische omgevingen waarin de programma’s zijn uitgevoerd, gekenmerkt door geweld, politieke onrust en economische problemen. De bevindingen beschrijven aanvullende verklaringen.
Bevindingen
Veel van de projectvoorstellen waren gebaseerd op impliciete en niet-getoetste aannames. De meest voorkomende activiteiten waren:
het opzetten en ondersteunen van spaargroepen;
trainingen in ondernemerschap;
vak- en praktijktrainingen;
het opzetten van vredescomités;
het aanmoedigen van vredesdialogen;
trainingen met betrekking tot vrede en levensvaardigheden; en
het stimuleren van lokale participatie.
Wetenschappelijk onderzoek laat zien dat de resultaten die van dit soort activiteiten kunnen worden verwacht beperkt zijn.
Middelen waren te dun versnipperd over een groot aantal kleine en geografisch verspreide activiteiten. Bovendien werden activiteiten zelden afgestemd op de programma’s van ambassades, andere donoren of op interventies van de nationale overheid. Als gevolg hiervan werden activiteiten vaak geïsoleerd uitgevoerd, en waren de middelen per activiteit te beperkt om substantiële resultaten op outcomeniveau te behalen.
Projecten werden ontworpen met de overkoepelende beleidsdoelstellingen in het achterhoofd, hetgeen ten koste ging van afstemming op de lokale behoeften. Ondanks inspanningen om strategische partnerschappen met uitvoerende organisaties tot stand te brengen, met name bij de SPCC- en ARC-programma’s, vond er na de start van de projecten nauwelijks strategische discussie plaats tussen de partners en het ministerie.
Dit ging ten koste van kritische reflectie op de relevantie en effectiviteit van activiteiten. De druk om binnen korte termijn te rapporteren op gestandaardiseerde indicatoren op outcome en impact niveau, stond een kritische beoordeling van de uitgevoerde activiteiten in de weg. Dit heeft bijgedragen aan een kloof tussen projectresultaten op papier en de uitvoering van projecten in de praktijk. Tevens was de kwaliteit van individuele projectevaluaties vaak ondermaats, en in de meeste gevallen onbetrouwbaar voorbij het output niveau.
Aanbevelingen
Formuleer heldere en realistische doelstellingen voor beleid, programma’s en projecten, door op hoog niveau geformuleerde beleidsdoelstellingen uit te werken tot meer context-specifieke doelen. Het is belangrijk hierbij rekening te houden met de invloedssfeer van de uitvoerende organisaties en doelstellingen op output en intermediate outcome niveau te formuleren. Vraag ngo’s niet te monitoren en rapporteren op outcome en impact niveau, vooral niet op de korte termijn. Dit doet niet af aan de noodzaak voor een eindevaluatie, waarin de resultaten op outcome en impact niveau vastgesteld dienen te worden.
Beperk deze niet tot het verminderen van het aantal individuele activiteiten. Koppel centraal gefinancierde programma’s beter aan programma’s van ambassades en meerjarenlandenstrategieën en stem ze af op initiatieven van andere donoren en beleid van (nationale en lokale) overheden. Daarnaast beveelt IOB aan om de geografische verspreiding te beperken en de duur van programma’s te verlengen. Tevens moeten zij een consistente thematische en geografische focus hebben en zou het goed zijn als effectieve activiteiten worden voortgezet in opeenvolgende programma’s.
Een gedragsverandering van zowel het ministerie als de ngo’s is hiervoor noodzakelijk. Het ontwikkelen van een effectief partnerschap met uitvoerende partners vereist niet alleen dat het ministerie flexibel is, maar ook dat het extra middelen en personeel ter beschikking stelt en strategische discussies zo goed mogelijk faciliteert. Uitvoerende organisaties dienen samen met hun lokale partners en medewerkers te investeren in een leercyclus en een kritische reflectie op de eigen activiteiten. IOB beveelt ook aan om de actieve betrokkenheid van ambassades bij de uitvoering van centraal gefinancierde projecten te institutionaliseren.
Verken financieringsmogelijkheden die iteratieve programmering en adaptieve planning mogelijk maken. Voor projecten die in specifieke landen of contexten worden uitgevoerd kan worden overwogen budgetten te delegeren aan ambassades.
Wanneer dit niet mogelijk is (bijvoorbeeld voor innovatie activiteiten) is het belangrijk dat er vooraf een strategie wordt geformuleerd om de assumpties te kunnen testen. Stimuleer uitvoerende partners om zowel onderzoeksmethoden als individuele projectevaluaties te verbeteren. Het is belangrijk om al tijdens projectontwikkeling rekening te houden met de evaluatie.
Versterk monitoring en evaluatie voor leerdoeleinden door middel van regelmatige reflectie op beleid, uitvoering en onderliggende assumpties. Iteratief programmeren en plannen is belangrijk om contextspecifiek leren te faciliteren, vooral wanneer men werkt in snel veranderende lokale omstandigheden.
Na publicatie rapport