Het volledige programma is voor het laatst in 2012 geëvalueerd. Sindsdien zijn er een aantal wijzigingen geweest in de opzet van het Talentprogramma, zoals de tweefasenstructuur (met eerst een vooraanmelding en dan pas een volledig voorstel) en het evidence-based cv.
Het doel van deze evaluatie was om beter inzicht te krijgen in de doeltreffendheid en doelmatigheid van het Talentprogramma. De hoofdvragen in dit onderzoek luidden alsvolgt:
- Welke interne en externe ontwikkelingen hebben invloed gehad op de doelgroep en het Talentprogramma, en tot welke uitdagingen en kansen hebben deze ontwikkelingen geleid? Op welke manier heeft NWO als lerende organisatie processen rondom aanvragen en beoordelen verbeterd?Ervaren aanvragers sinds de invoering van het EBCV een verbetering in de manier waarop ze zichzelf kunnen presenteren in hun aanvraag en zien ze sindsdien meer mogelijkheden om unieke kwaliteiten te tonen en benadrukken die belangrijk zijn voor innovatief onderzoek dan daarvoor? Draagt het EBCV bij aan de kwaliteit van de beoordeling?In hoeverre blijven gehonoreerde onderzoekers actief in de (Nederlandse) wetenschap en/of in welke mate draagt het Talentprogramma bij aan loopbaanzekerheid voor gehonoreerde onderzoekers? Op welke manier hebben gehonoreerde onderzoekers baat (gehad) bij hun deelname aan het Talentprogramma, op welke manier hebben zij eigen onderzoek uitgevoerd en welke rol speelde het Talentprogramma in de vrijheid die zij daarbij hebben ervaren?
- Leidt gefinancierd onderzoek tot baanbrekende wetenschappelijke resultaten?Welke neveneffecten op het gebied van impact zijn er van de Talentprogramma-beurzen?
Onderzoeksmethode
De evaluatie is uitgevoerd aan de hand van een contributieanalyse (CA). Een CA is een gestructureerde evaluatiemethode om te toetsen of alle elementen uit een Theory of Change (ToC) tot uiting komen en in welke mate daadwerkelijk sprake is van causale relaties tussen de elementen uit de ToC. Om alle onderzoeksvragen te beantwoorden en de ToC te toetsen, hebben we verschillende onderzoeksmethoden ingezet. We hebben een analyse uitgevoerd van administratieve gegevens die NWO bijhoudt, bijvoorbeeld over aantallen aanvragen, honoreringspercentages en toegekende scores. Daarnaast hebben we interviews gehouden met betrokkenen bij NWO en met diverse belanghebbenden en experts op het vlak van wetenschapsfinanciering. Ook is een enquête uitgezet onder aanvragers (gehonoreerd en niet-gehonoreerd) en beoordelaars van aanvragen. Ten slotte hebben we focusgroepen gehouden met gehonoreerde en niet-gehonoreerde aanvragers, beoordelaars en subsidieadviseurs bij universiteiten.Uitkomsten van de evaluatie
We concluderen dat het Talentprogramma doeltreffend is en onmisbaar als persoonsgebonden route voor ongebonden onderzoek: het versterkt de positie van talentvolle onderzoekers, stimuleert nieuwe onderzoekslijnen en - groepen en draagt bij aan wetenschappelijke vernieuwing. NWO heeft in de afgelopen jaren de aanvraag- en beoordelingsprocedure op verschillende manieren verbeterd. Tegelijkertijd blijft het rangschikken van de grote hoeveelheid honoreerbare voorstellen lastig, terwijl honorering hoge consequenties heeft en de beoordeling een grote tijdsinvestering vraagt. Daarmee kent het Talentprogramma nog een aantal verbeterpunten op het vlak van doelmatigheid.Op basis van onze conclusie adviseren wij NWO het Talentprogramma te behouden als persoonsgebonden financieringsinstrument voor ongebonden onderzoek. Juist het persoonsgebonden en ongebonden karakter heeft voor betrokkenen toegevoegde waarde omdat het onderzoekers ruimte biedt voor vernieuwende onderzoekslijnen, groepsopbouw en nieuwe samenwerking. Zonder het Talentprogramma is de kans aanwezig dat de Nederlandse wetenschap aan vernieuwing en creativiteit inboet. Hierbij is het wel aan te raden om de aanvraag- en beoordelingsprocedure te blijven verbeteren, verdere doelmatigheidswinst te realiseren en het programma explicieter te positioneren binnen het bredere wetenschaps- en financieringssysteem.
