Een praktisch model voor doorwerking van rekenkamer(commissie)s – deel 1

13-01-2014 | Door Etienne Lemmens | 1 Reacties

Ronald Hoekstra doet een mensmoedige poging een discussie over doorwerking van rekenkamercommissies te voeren (Hoekstra, R., ‘Wat is de meerwaarde van onze rekenkamer? Introductie van een model om de doorwerking van rekenkameronderzoek te meten’, bso 2013, oktober-december, DOI: 10.5553/Beleidsonderzoek.000025). Hij start vanuit het theoretische model dat Bekkers e.a. in 2004 hebben gepresenteerd over doorwerking van strategische beleidsadviezen (Bekkers, V., e.a., Doorwerking van Strategische Beleidsadvisering, EUR/UvT 2004). De definitie die Hoekstra zelf formuleert van doorwerking van (lokale) Rekenkamer(commissie)s: beïnvloeden van besluitvormingsprocessen door middel van het bieden van toepassingsgerichte kennis op basis van beleidsonderzoek, verricht door of in opdracht van een rekenkamer. Ik meen dat deze een te beperkte invulling van doorwerking van rekenkamerwerk is, en niet alle doorwerking die Rekenkamercommissies kunnen of willen hebben dekt. Bovendien betwijfel ik of deze benadering een werkbare definitie van doorwerking gaat opleveren, of een instrument om doorwerking te meten. Een aantal aspecten die via deze deductieve benadering de revue passeren zijn alleen randvoorwaardelijk voor doorwerking.

Ik stel voor om het vraagstuk praktischer aan te vliegen, een meer inductieve benadering vanuit de praktijk van het rekenkamerwerk. De vraag/vragen die je dan als eerste kunt stellen, welke taak hebben rekenkamers en wanneer hebben zij daarin succes? De rekenkamer ondersteunt de raad bij zijn kaderstellende en controlerende taak. Een voor de hand liggende en simpele wijze om succes en doorwerking van rekenkamers te meten is bij de raadsleden, de primaire doelgroep, navraag doen of de rekenkamer daarin succesvol is. Mooi, die hebben we al binnen.

Voor de rest van de doorwerking stel ik voor om na te lopen hoe een rekenkamer over het algemeen te werk gaat, en van daaruit handvatten voor doorwerking te formuleren. Het rekenkamerproces is grosso modo als volgt: agendering, uitvoering, product, presentatie. Bij al deze fasen is interactie en communicatie tussen rekenkamer, onderzoeksobject (ambtenaren en wethouders) en doelgroep (de raad) aan de orde.

Voor de goede orde: hier gebruik ik rekenkamer ook voor rekenkamercommissie en raad ook voor provinciale staten, wethouder ook voor gedeputeerde.

Agendering

Agendering van rekenkamers heeft te maken met timing van onderzoek, de keuze van de onderwerpen en 'voorwerking'. Deze aspecten komen hieronder aan bod.

Rekenkamers kondigen onderzoeken aan, meestal in jaarplannen. En als het onderzoek daadwerkelijk start, wordt vaak ook nog gecommuniceerd. Volgens het vraaggestuurde model van doorwerking (zie  het demand-pull model van Bekkers e.a. 2004) wordt doorwerking verklaard doordat hetgeen de rekenkamer onderzoekt aansluit bij de behoefte van de gebruiker (de B van het Backto-model van Hoekstra). Dat heeft met name te maken met de timing van het onderzoek en de agenda van de raad. Komt de rekenkamer te vroeg of te laat met de resultaten van het onderzoek, dan kan de raad er weinig mee, hoe goed onderzoek, conclusies en aanbevelingen ook mogen zijn. Het aspect van timing moet dus als aspect worden opgenomen in een meetinstrument van doorwerking. Dit aspect kan gemeten worden door de raadsleden en griffiers daarop te ondervragen en de mening van de rekenkamer te inventariseren.

Daarnaast is de vraag of de onderwerpkeuze van de rekenkamer overeenkomt met de behoefte van de raad. De rekenkamer is door de wetgever onafhankelijk gepositioneerd in de lokale bestuurlijke verhoudingen. Daar hebben rekenkamers zich in de beginfase veel op beroepen. De rekenkamer bepaalde zelf wel welke onderwerpen deze onderzocht, vanwege de onafhankelijke neutrale positie (zie het aanbodgerichte 'science' model van Bekkers e.a. 2004). De raad mag geen opdrachtgever van de rekenkamer zijn, volgens deze benadering. En, natuurlijk moet de rekenkamer onafhankelijk zijn, zijn eigen agenda kunnen bepalen, eigenstandig onderzoek doen enz. Anders word je al snel speelbal van de politiek. Maar je mag luisteren naar de behoefte van de raad en rekening houden met de onderwerpen die deze aandraagt. Dit aspect kan geoperationaliseerd worden door de raadsleden en griffiers daarop te ondervragen en de mening van de rekenkamer te inventariseren.

Een bijzondere vorm van doorwerking door agendering is de 'voorwerking'. 'Du moment' dat de rekenkamer een onderwerp agendeert kan een reactie worden waargenomen bij de onderzochte. Nog voordat het onderzoek is gestart wordt snel een SMART-geformuleerd beleidskader opgesteld en voorgelegd aan de raad, procesverbeteringen doorgevoerd, enz. En in een eventuele bestuurlijke reactie wordt de rekenkamer bedankt voor het waardevolle onderzoek en wordt geconstateerd dat het college en apparaat al lang bezig waren met de, overigens evenzeer waardevolle, aanbevelingen. Dit kan frustrerend zijn en overkomen als een negatie van de toegevoegde waarde van een rekenkamer. Als die laatste emotie hoog zit, kan het allicht aanleiding zijn tot een gesprek met college en/of secretaris. Maar het is ook simpelweg een wijze waarop de rekenkamer doorwerkt. En wel in instrumentele zin, namelijk verandering van gedrag van de onderzochte organisatie (zie de definities van doorwerking van Bekkers e.a. 2004). Alleen al het bestaan van een rekenkamer kan deze instrumentele doorwerking tot gevolg hebben.

Deze doorwerking is lastig aan te tonen, en je wil als rekenkamer ook niet vervallen in een puberale wedloop wie als eerste zei dat beleidsvoornemens SMART geformuleerd moeten worden. Voorwerking, als wijze van doorwerking, kan naar mijn smaak het best geoperationaliseerd worden door de mening van de rekenkamer zelf mee te nemen in het meetinstrument.

Uitvoering

Met betrekking tot de uitvoering van het rekenkameronderzoek onderscheid ik hier de aanpak en de interactie met de omgeving.

Bij de uitvoering van het onderzoek komt het science model van doorwerking om de hoek, zie Bekkers e.a. 2004. De rekenkamer onderzoekt op basis van een probleem- en vraagstelling en pakt dat methodisch aan. Niet zozeer zwaar wetenschappelijk, met bijvoorbeeld controlegroepen e.d. Het onderzoek en de uitkomsten zijn niet fundamenteel, maar toepassingsgericht. De aanpak is methodisch, dat wil zeggen dat deze verantwoord dient te worden, betrouwbare resultaten oplevert en reproduceerbaar is. Dat bepaalt de kwaliteit van het onderzoek, en deze kwaliteit is een belangrijke voorwaarde voor doorwerking. De aanbevelingen van de rekenkamer zullen weinig doorwerking hebben als de aanpak en onderzoeksresultaten onbetrouwbaar zijn. Het is evenwel niet zo dat doorwerking automatisch volgt als de kwaliteit van het onderzoek boven elke twijfel verheven is. Zo konden Rekenkamercommissies zich in het begin nog serieus afvragen, hoe het kon dat de raad niets deed met het uitmuntende rekenkameronderzoek, met onomstotelijke bevindingen en conclusies, en daaruit volgende onontkoombare aanbevelingen? In het aanbodgerichte model of science model, zie Bekkers e.a. 2004, is hiervoor geen verklaring te vinden.

De operationalisering van dit aspect van doorwerking, kwaliteit van de uitvoering betreft vragen als: heeft de rekenkamer de juiste aanpak gekozen om het voorliggende vraagstuk te onderzoeken en is de gekozen aanpak methodisch en verantwoord uitgevoerd? Voor veel raadsleden zijn dit vaak moeilijk te beantwoorden vragen, vandaar dat ik voorstel dit aspect via een peer group review of visitatie te laten beoordelen. Aanmoedigingsprijzen, zoals de Goudvink van de NVRR, kunnen hierbij  trouwens ook behulpzaam zijn.

De kwaliteit van het onderzoek kan nog verder verdiept of geoperationaliseerd worden door subelementen op te nemen als: toepasbaarheid en validiteit van kwantitatieve of kwalitatieve onderzoekstechnieken, onderzoekslogboek bijgehouden, enz.

Een tweede element bij de uitvoering van het onderzoek betreft de interactie met de onderzochte en de doelgroep. Hier speelt een oude reflex met betrekking tot de onafhankelijkheid van de onderzoeker. Tot een aantal jaar geleden was interactie tussen onderzoeker en object en/of gebruiker 'verdacht', gechargeerd gesteld ging dat als volgt:

Als iemand met een probleem zit, en een deskundige blik op de werkelijk­heid nodig heeft, vraagt hij/zij om onderzoek. Dan komt een onderzoeker in beeld, die zegt: "Ik ben de beheerder van de zuiver wetenschappelijke methode, en elke interferentie met het onderzoek, door wie dan ook, verstoort het proces en bevlekt het eindresultaat. Dus, laat me in alle onafhankelijkheid en rust mijn werk doen en ik breng je over 4 maanden de analyse en als het meezit ook oplossingsrichtingen.

Het is in de sociale wetenschappen al lastig om interactie te vermijden. Dan heb je bijvoorbeeld als historicus nog het voordeel dat de meesten van de onderzochten al begraven zijn en niet kunnen interfereren, uitgezonderd door middel van een seance. Maar als rekenkamer functioneer je in een bestuurlijke context, en dan ook nog eens in een politiek gevoelige setting. Interactie is bijna onvermijdelijk: je vraagt stukken op, neemt interviews af, doet een feitencheck, enz. De rekenkamer moet er wel voor waken dat de interactie niet ten koste gaat van de kwaliteit van de onderzoeksuitvoering.

En, interactie kan positief zijn, ook tijdens de uitvoering. Door interactie vooraf en tijdens het onderzoeksproces kun je bijvoorbeeld tot een gedragen normenkader komen door deze met wethouder en ambtenaren te bespreken. Rekenkamers kunnen de interactie ook tot onderdeel van de onderzoeksaanpak bombarderen. Een werkconferentie met ambtenaren of een rondetafelgesprek met ambtenaren en burgers organiseren om de onderzoeksresultaten te bespreken. Dat zijn manieren voor de rekenkamer om gedurende de uitvoering van het onderzoek al aan doorwerking of acceptatie van de resultaten, conclusies en aanbevelingen te werken (zie ook het interactiemodel van Bekkers e.a., 2004). Dit aspect is randvoorwaardelijk voor doorwerking en kan het best beoordeeld worden door een peer group review of visitatie, bij voorkeur aangevuld met de mening van de ambtenaren, wethouders, raadsleden en burgers die in de interactie zijn betrokken.

Tot zover het eerste van het tweeluik-blog over doorwerking van rekenkamers. In de volgende blog ga ik in op de aspecten rekenkamerproduct en communicatie. Dan wil ik komen tot een definitie van doorwerking en via inductieve wijze komen tot formulering van een instrument dat rekenkamers behulpzaam kan zijn bij het meten van doorwerking.

(Wordt vervolgd. Zie hierna de eerste uitwerking van het meetinstrument. Reactie zijn uiteraard van harte welkom.)

 

Meetinstrument doorwerking, deel 1

Reacties (1)

  • 27-01-2014 20:51
    door Ronald Hoekstra
    Mooi om te zien dat het thema doorwerking steeds meer aandacht krijgt. Ik ben benieuwd naar het tweede deel om te bekijken waar het verschil met de elementen van het backto-model zitten en het bovenstaande model.