Resultaten – Evaluatie van Matra centraal en decentraal

Een opmerkelijke bevinding tijdens de reconstructie van de theory of change van het Matra-programma is dat veel BZ-respondenten de versterking van bilaterale relaties als de werkelijke bestaansreden van het programma beschouwden. Dit is niet verrassend, gezien de focus van DEU van nature politiek is – dat wil zeggen gericht op beleidscoördinatie en -ontwikkeling op bilateraal en Europees niveau – en niet zozeer programmatisch. De mate waarin het Matra-programma heeft bijgedragen aan veranderingen op macro-niveau in het maatschappelijke transformatieproces blijft volgens deze evaluatie onduidelijk. De geëvalueerde instrumenten hebben echter wel bijgedragen aan het versterken van de bilaterale betrekkingen. Dit illustreert de politieke aard van het programma.

Uit de eerste hoofdbevinding ontstaat dus een paradox tussen programmatische effectiviteit en politieke bruikbaarheid. Programmatisch succes voor het Matra-programma houdt in dat er tastbare, meetbare resultaten worden geformuleerd en behaald op basis van vooraf gedefinieerde doelstellingen. Dit contrasteert met de nood aan politieke bruikbaarheid, hetgeen vereist dat de doelstellingen van het programma opzettelijk breed of vaag worden gehouden.

Ondanks eerdere IOB-aanbevelingen om het gebruik van Matra-instrumenten te verankeren in een theory of change, is er nog steeds geen Matra-brede interventielogica. Als gevolg hiervan vindt er geen monitoring en evaluatie (M&E) plaats op overkoepelend niveau, wat betekent dat informatie over het behalen van doelen grotendeels ontbreekt of anekdotisch is. De beperkte M&E-gegevens leiden tot gebrekkige strategische sturing van de verschillende instrumenten. Hoewel mogelijk waardevol, worden de uitkomsten van het ene instrument daarbij niet gebruikt om de projecten van een ander instrument te versterken.

De opzet van de projectcriteria en het beperkte aantal beschikbare uitvoerders betekent dat de organisatorische focus van de uitvoerders een bepalende factor kan worden voor de focus van de projecten, in plaats van een grondige behoeftenanalyse. Dit betekent niet dat projecten geen aansluiting vinden bij lokale behoeften, maar eerder dat de planning plaatsvindt van de uitvoerder naar de begunstigde, in plaats van andersom. Dit kan de relevantie van het centrale instrument verlagen in vergelijking met decentrale projecten.

Het decentrale instrument, dat in de programmalanden rechtstreeks wordt overzien door de ambassades, staat dichter bij de lokale behoeften en is daarom meer vraaggestuurd. De relevantie van het decentrale instrument is daardoor hoger. Vanuit een macro-perspectief waren alle onderzochte projecten, zowel centraal als decentraal, afgestemd op de lacunes die zijn geïdentificeerd in belangrijke EU-beleidsdocumenten.

Veel Matra programmalanden hebben de ambitie om zich bij de EU aan te sluiten of een associatieovereenkomst aan te gaan met de EU. EU-criteria kunnen dus een drijvende kracht zijn achter lokale verzoeken om bijstand. De relevantie van beide Matra instrumenten blijft hoog in programmalanden die streven naar nauwere banden met de EU, aangezien de thematische prioriteiten van de instrumenten gedeeltelijk overeenkomen met die van de EU-toetredingscriteria. In contexten waar er geen of een aanzienlijk minder geloofwaardige perspectief tot toetreding of associatie op tafel ligt, is de relevantie van het Centrale instrument lager.

Kansen om het gebruik van beide instrumenten strategisch op elkaar af te stemmen blijven onbenut. Hoewel er op papier enige thematische overlap is met het decentrale Mensenrechtenfonds, is er in de praktijk geen concrete overlap gevonden, wat duidt op de verschillende uitvoeringsmodaliteiten en de verschillende politieke doeleinden van beide instrumenten.

Op beleidsniveau is Matra over het algemeen coherent met de Nederlandse buitenlandse beleidsdoelen in de regio en kan het instrument het politieke werk van ambassades versterken. Matra is echter niet altijd in staat aan te sluiten bij de institutionele prioriteiten van de Nederlandse (semi-)overheidsinstellingen die betrokken zijn bij de uitvoering van centrale projecten.

Het gebrek aan duidelijke langetermijnvisie leidt ertoe dat projecten zonder duidelijke strategische richting of begeleiding worden uitgevoerd. Dit bemoeilijkt het beoordelen van de voortgang of effectiviteit van zowel centrale als decentrale projecten. Bovendien toont onderzoek van de twee instrumenten aan dat de bijdrage van de Nederlandse meerwaarde (Dutch added value) nuttig is bij het centrale instrument, maar geen vereiste is voor de effectiviteit van een project, zoals blijkt uit het decentrale instrument.

Het centrale instrument richt zich voornamelijk op de overdracht van kennis en vaardigheden vanuit Nederland. Het decentrale instrument heeft een sterkere vraaggerichtheid, een beter bereik naar kleinere initiatieven en organisaties, en meer flexibiliteit. Decentrale projecten zijn echter soms onsamenhangend en versterken elkaar niet, wat leidt tot relatief kleine fondsen die over veel verschillende sectoren worden verspreid in de naam van het bijdragen aan maatschappelijke transformatie.

Het is niet mogelijk om macro-niveau veranderingen in het maatschappelijke transformatieproces aan het Matra-programma toe te schrijven, door de discrepantie tussen het overkoepelende doel op programmaniveau en de doelstellingen (en leveringen) die op projectniveau zijn vastgesteld. Dit leidt tot een ontkoppeling tussen de doelstellingen op papier en de effectiviteit van projecten in het behalen van die doelstellingen in de praktijk. In de afwezigheid van een duidelijk logisch kader dat de ontbrekende schakels tussen projecten en het algehele programma completeert, kan de bijdrage van projecten aan hogere doelstellingen niet worden vastgesteld.

Deze bijdrage verloopt op drie manieren. Ten eerste draagt Matra positief bij aan de zichtbaarheid van Nederland en de reputatie van Nederland als een actief betrokken en geëngageerd partner. Ten tweede ondersteunt Matra ambassades bij het opbouwen van een sterk diplomatiek netwerk op het gebied van de rechtsstaat en democratisering. Ten derde versterkt Matra de informatiepositie van Nederland in programmalanden op het vlak van de rechtsstaat en democratisering.

• Zorg voor voldoende ruimte voor de politieke realiteiten waarin Matra opereert, met behoud van een blijvende focus op programmatische activiteiten.
• Definieer duidelijker wat het ambitieniveau van het Matra-programma zou moeten zijn, onder andere door middel van een overkoepelende interventielogica voor Matra, met behoud van de algehele flexibiliteit van het programma en het vermogen om zich aan te passen aan politieke belangen.
• Stel een overkoepelende interventielogica voor Matra vast die voldoende ruimte biedt voor de politieke realiteiten zoals beschreven in hoofdbevinding 1, terwijl het tegelijkertijd een kader biedt voor strategisch denken en bijsturing van het programma.
• Verbind de verschillende instrumenten door middel van informatie-uitwisseling.
• Identificeer kansen waarbij projecten van het ene instrument activiteiten van een ander instrument kunnen versterken en waarbij het lerend vermogen tussen de verschillende instrumenten versterkt wordt.

• Verbeter de ondersteuning aan programmalanden bij het vertalen van bredere hervormingsambities naar een specifieke behoeften agenda die aansluit bij hun toetredings- of associatieaspiraties, zoals de Kopenhagen-criteria of andere internationale standaarden.

Wat betreft het centrale instrument:

• Betrek Nederlandse ambassades bij de thematische keuzes van het centrale instrument (zoals opgenomen in de subsidiebeleidskaders).
• Betrek een meer diverse groep van uitvoerders bij centrale projecten.
• Zorg voor voldoende eigenaarschap op lokaal niveau voor Matra projecten en geef lokale autoriteiten zoveel mogelijk de ruimte om prioriteiten en programma's zelf te bepalen.
• Betrek lokale uitvoerende partners bij het ontwerp en de uitvoering.
• Vergroot de betrokkenheid van lokale autoriteiten voorafgaand aan het projectontwerp en zorg ervoor dat er voldoende draagvlak en institutionele capaciteit is om het voorgestelde project uit te voeren.

Wat betreft het decentrale instrument:

• Faciliteer en waarborg de toegang tot het decentrale instrument voor kleinere maatschappelijke organisaties.

• Om de relevantie en effectiviteit (opvolging, opschaling, synergiën en leren) te vergroten, moeten de verschillende Matra-instrumenten beter op elkaar worden afgestemd. Dit kan ook wederzijds leren en de uitwisseling van best practices tussen de twee instrumenten bevorderen.
• Overweeg om jaarlijks een (online) conferentie te organiseren waarin best practices en wederzijdse leermogelijkheden kunnen worden gedeeld en verkend.
• Zorg voor regelmatig contact tussen de RVO, DEU, ambassadepersoneel en Nederlandse uitvoerders.
• Moedig ambassades aan om regelmatig overzichten van decentrale projecten te delen met collega’s in Den Haag, inclusief beleidsmedewerkers van BZ en de RVO. De RVO en Nederlandse uitvoerende organisaties zouden de ambassade ook op de hoogte moeten houden van de ontwikkelingen in centrale projecten.
• Zorg ervoor dat de onderscheidende kenmerken tussen de verschillende fondsen duidelijk zijn voor ambassades en uitvoerende organisaties, en leg tegelijkertijd duidelijk uit wanneer de combinatie van fondsen is toegestaan en zelfs wordt aangemoedigd.
• Creëer ruimte voor flexibiliteit en input van project uitvoerders, aangezien dit wordt gezien als een groot voordeel van het programma in vergelijking met andere Nederlandse fondsen.
• Wijd voldoende middelen aan programmamanagement en uitvoering en creëer mechanismen voor strategische en politieke sturing.
• Reflecteer voorafgaand aan de projectstart op de specifieke niches en potentiële incubatorfuncties die Matra projecten zowel op centraal als decentraal niveau kunnen vervullen.

Wat betreft Matra's bijdrage aan maatschappelijke transformatie (doel I):

Projectniveau:

• Instrueer projectuitvoerders om een duidelijk verband aan te tonen tussen hun projecten (en de bijbehorende resultaten) en de overkoepelende doelstellingen van het Matra-programma via een logisch raamwerk.
• Instrueer projectuitvoerders om een Monitoring, Evaluatie en Leersysteem aan te leveren dat aansluit bij een bredere theory of change voor het Matra-programma.
• Verduidelijk wat 'Nederlandse toegevoegde waarde' inhoudt en hoe deze zou moeten bijdragen aan maatschappelijke transformatie voor elk instrument.
• Identificeer gebieden waar ‘Nederlandse toegevoegde waarde’ noodzakelijk is en overweeg het gebruik ervan (optioneel) over beide instrumenten heen.
• Regionale centrale en decentrale projecten zouden vanuit de programmalanden zelf geïnitieerd moeten worden, zodat het voor hen duidelijk wordt welke meerwaarde de regionale benadering biedt.
• Formuleer de toegevoegde waarde van een regionale benadering voor elk betrokken doelland.
• Moedig wederzijds leren aan, ongeacht het regionale karakter van een project. Wederzijds leren moet niet beperkt blijven tot regionale projecten of het uitvoeren van identieke projecten in verschillende landen. Het betreft het leren van zowel de verschillen als overeenkomsten tussen programmalanden en het delen van best practices.

Programmaniveau:

• Specificeer en verduidelijk de praktische implementatie en beoordelingscriteria voor de Matra-doelstellingen.
• Formuleer duidelijke land-specifieke doelstellingen waaraan alle betrokkenen zouden moeten bijdragen, en vermijd een versnipperde aanpak door gelijktijdig een groot aantal verschillende initiatieven te ondernemen.
   

Wat betreft het versterken van bilaterale relaties (doel II):

• Stuur proactief aan op het behalen van dit doel voor het centrale instrument. In samenwerking met het Ministerie van Justitie en Veiligheid zou een verkenning moeten worden uitgevoerd van de beschikbare capaciteit en de thematische en regionale prioriteiten van de betrokken (semi-)overheidsorganisaties, voordat hun rol in centrale projecten wordt vastgelegd.
• Instrueer projectuitvoerders om in de projectopstartfase duidelijk aan te tonen wat de beschikbaarheid en meerwaarde is van de betrokkenheid van Nederlandse overheids- en semi-overheidsinstellingen.
• Zet het doel van het versterken van bilaterale relaties tussen Nederland en de Matra-programmalanden om in land-specifieke, meer tastbare en realistische doelen die duidelijk zijn voor alle betrokkenen.