Wat is nodig voor goed onderzoek?

05-02-2020 | Nieuwsbericht

Welke omstandigheden bepalen de kwaliteit van een rekenkameronderzoek? We vroegen het drie ervaringsdeskundigen, die zowel de kant van de onderzoeker als van de rekenkamer kennen. Hier samengevat in zeven succesfactoren voor goed onderzoek.

1. Een duidelijke vraag en aanleiding

Het begint bij een goede onderzoeksvraag. En dat is nog niet zo eenvoudig, is de ervaring van Jos Mevissen, die meer dan 35 jaar onderzoek uitvoerde en begeleidde bij een onderzoeksbureau en nu adviseert over beleidsevaluaties. “De vraag waar rekenkamers mee komen is vaak onduidelijk. En te breed voor het beschikbare budget. Als je dan vraagt naar de aanleiding, hoor je ‘de raad wil dit weten’. Maar waaróm wil de raad dit weten. Een rekenkamer moet zich bovendien afvragen wat ze met het onderzoek wil: haar controlerende óf ondersteunende rol uitoefenen. Dat maakt de vraagstelling ook scherper.”

2. Eigen vooronderzoek

Niet voor niks doet Marc van Rosmalen, voorzitter van de rekenkamer in Zaltbommel, graag zelf vooronderzoek voor hij een onderzoeksbureau brieft. “We zoeken naar rapporten die andere rekenkamers over een onderwerp hebben laten maken. Wat leverde dat op? We vragen ook gemeentelijke documenten op en spreken inhoudelijk betrokkenen. We willen een relevante vraag, geen open deuren. Dit alles levert een paar A4 op met een situatieschets, aanleiding, probleemstelling en mogelijke vragen. We laten de raad aanvullen, maar maken zelf de startnotitie.”

3. Wederzijds vertrouwen

Naast het nodige voorwerk is wederzijds vertrouwen nodig, stelt Gert-Jan Broer. Hij deed jaren onderzoek, was directeur van een rekenkamer en werkt nu als raadsadviseur voor de gemeente Almere. “Want de onderwerpen die aan de orde zijn, zijn vaak minder meetbaar dan je denkt. Wil je per se weten of het doel uit nota X is gehaald? Of wil je weten welke doelen inmiddels haalbaar zijn? De wereld verandert en onderzoekers moeten daar ook oog voor hebben. Dat vraagt flexibiliteit en vertrouwen van beide kanten.” Marc: “Ik waardeer eigen initiatief van een bureau. Je wilt immers dat er meer uitkomt dan je er zelf in stopt.”

4. Een gesprek over proces en relatie

Juist omdat je niet precies weet wat je gaat tegenkomen, is een goed gesprek vooraf nodig, zeggen de drie deskundigen. Over de vraag zelf, zegt Jos, en het gewenste resultaat. Gert-Jan vult aan: “De rekenkamer wil een ronkend rapport en simpele conclusie, maar de werkelijkheid is niet simpel. Hoeveel ruimte zit daar?” Marc zegt het als volgt: “Wat je inhoudelijk gaat tegenkomen weet je niet. Des te belangrijker om het proces en de relatie helder te hebben – wat verwacht je van elkáár.”

5. Enige kennis van elkaars werk

Volgens Gert-Jan is het handig als onderzoekers begrip hebben van het werk van gemeenten. “Een onderzoeker moet afstand hebben, maar wel de complexiteit van het werk van gemeenteambtenaren snappen. Ik heb te vaak gezien dat rapporten door hen niet werden herkend. Dat is jammer, want zij moeten wel met de conclusies aan de slag.” Andersom vindt Jos het prettig als een rekenkamer weet hoe je beleidsonderzoek doet. “Dat praat een stuk makkelijker. Ook tijdens het onderzoek wil je kunnen sparren met iemand die inhoudelijk op de hoogte is. Een secretaris is dat bijvoorbeeld niet altijd.”

6. Draagvlak in de organisatie

Begrip is dus belangrijk. Maar draagvlak ontstaat niet alleen door inhoudelijke afstemming. Marc: “Sowieso moet de organisatie vooraf op de hoogte zijn van de onderzoeksplannen van de rekenkamer. Betrokkenen moeten zich niet overvallen voelen als ze gebeld worden door een onderzoeker. Als er toch wrijving ontstaat moet je als rekenkamer ingrijpen – of liever daarvoor al. Maak dus duidelijke afspraken over het proces, over welke gegevens gedeeld kunnen worden en werp je bij onduidelijkheid op als bemiddelaar.” Gert-Jan is het eens: “Draagvlak is belangrijk. Het is niet niks voor een ambtenaar als er onderzoek naar ‘zijn’ onderwerp wordt gedaan.”

7. Reële verwachtingen

En wat als het resultaat dan toch tegenvalt? Is dat te voorkomen? Marc: “Ik spreek altijd van tevoren af hoeveel tijd er nog is voor aanvullende vragen. En ik vraag het bureau om bevindingen, niet om conclusies. Die schrijven wij altijd zelf.” Gert-Jan oppert om de fixed price eventueel los te laten. “Als je aanvullende vragen wilt kunnen stellen, moet de prijs ook flexibel zijn.” Dat vindt ook Jos. En deze houdt vast aan zijn stelling dat de onderzoeksvraag bepalend is: “Als die deugt, weet de opdrachtgever wat hij kan verwachten. Dan kan de uitkomst eigenlijk niet tegenvallen – hooguit nieuwe vragen oproepen.”

Meer weten

Wil je meer weten over onderzoek? Lees dan de tips en voorbeelden uit het Rekenkamerkompas (pag. 13-15). Vragen over de genoemde voorbeelden? Stuur een mail en wij brengen je met de juiste mensen in contact.

Gratis coaching

Vragen over de aanpak van jouw rekenkamer? Maak dan nu gebruik van de NVRR-coaching. De NVRR biedt je een gratis coachingsgesprek aan van een uur met een van de makers van het Rekenkamerkompas (wil je langer aan de slag, kan dit natuurlijk op eigen kosten). Je bepaalt zelf het onderwerp. Vul het formulier in en wij nemen contact op.