Een praktisch model voor doorwerking van rekenkamer(commissie)s - deel 2

31-01-2014 | Door Etienne Lemmens | 1 Reacties

In de vorige blog heb ik de parameters agendering en uitvoering in het kader van een inductief model voor doorwerking behandeld, in dit vervolg ga ik in op de parameters product en presentatie en sluit af met een definitie van doorwerking van rekenkamers. Uiteindelijk volgt een proeve van het meetinstrument.

Rekenkamerproduct

In relatie tot het product van de rekenkamer wil ik onderscheid maken naar analyse en vorm.

In het product legt de rekenkamer verantwoording af over de uitvoering van het onderzoek, dus over de wijze waarop de rekenkamer aan de bevindingen is gekomen. In het rekenkamerproduct komt ook een belangrijk kwaliteitsaspect aan bod, namelijk de analyse (ligt dicht bij het science model van Bekkers e.a. 2004, zie ook 'Uitvoering' in het eerste deel van dit blog). Het gaat er hierbij om of de conclusies logisch volgen uit de bevindingen. Voordat de rekenkamer de conclusies trekt, is het gebruikelijk de bevindingen te laten controleren op basis van een feitencheck of hoor & wederhoor, over het algemeen ambtelijke hoor & wederhoor genoemd.

Daarna komt de rekenkamer tot conclusies, die logisch moeten voortvloeien uit de bevindingen. Door middel van de conclusies beantwoordt de rekenkamer in ieder geval de onderzoeksvragen, waarmee het onderzoek is gestart. Indien de onderzoeksvragen niet volledig of adequaat beantwoord kunnen worden, legt de rekenkamer uit waardoor dat komt. Dat kan bijvoorbeeld liggen aan een verkeerd gekozen onderzoeksaanpak, informatie of bescheiden die niet aangeleverd zijn enz.

Op basis van de beantwoording van de onderzoeksvragen geeft de rekenkamer aanbevelingen die de beleidsvorming, besluitvorming en/of beleidsuitvoering van het gemeentebestuur kunnen verbeteren. Deze aanbevelingen kunnen gericht zijn aan ambtenaren, college en/of de raad. Het is handig om erbij te vermelden aan wie welke aanbeveling is gericht. Want de rekenkamer ondersteunt weliswaar de raad in diens kaderstellende en controlerende taken, de rekenkamer kan zaken tegenkomen die ambtenaren en college verder kunnen helpen. De raad kan in het dualistisch bestel vaak weinig met aanbevelingen die in de invloedsfeer van college of secretaris liggen.

Bij veel rekenkamers worden de conclusies en aanbevelingen ook nog een keer door een bestuurlijke hoor & wederhoor gehaald. Een aantal rekenkamers, waaronder die waar ik voorzitter van ben, laat dat na. De opbrengst van de bestuurlijke hoor & wederhoor was vaak mager. Soms een reprise van de feitencheck, opgesteld door de ambtenaar die zijn of haar gram wilde halen vanwege punten die na de ambtelijke hoor & wederhoor niet door de rekenkamer over werden genomen. Maar er is ook een inhoudelijk argument, namelijk dat de discussie over de aanbevelingen niet tussen college en rekenkamer moet plaatsvinden, maar in de politieke arena van de raadszaal tussen college en raad. Met de bestuurlijke hoor & wederhoor bestaat de kans dat de politieke discussie wordt doodgeslagen, en dat is jammer. Overigens, wij hebben in onze rekenkamers de bestuurlijke hoor & wederhoor niet helemaal afgezworen, maar als facultatief laten opnemen in de verordening. Ik kan me voorstellen dat er zeer gevoelige onderwerpen zijn waarbij het handig is dat de raad bij de publicatie van het rekenkamerproduct meteen beschikt over de reactie van het college.

Het oordeel of de analyse goed in elkaar steekt, dus of de trits bevindingen – conclusies – aanbevelingen logisch op elkaar volgen, kan goed gegeven worden door gebruikers en/of peer group.

Een tweede deelaspect van het product geldt de vorm. Daar kunnen we redelijk kort over zijn, want daar is al veel over gezegd door anderen. De vorm waarin het rekenkamerproduct wordt aangeboden moet de boodschap ondersteunen en voor de doelgroep toegankelijk zijn. Dit aspect valt onder het verspreidingsmodel van doorwerking (zie Bekkers e.a. 2004), waaronder ook timing valt. Namelijk activiteiten van de rekenkamer om de aanbevelingen zo goed mogelijk onder de aandacht te brengen van de gebruiker.

De laatste jaren zien we meer innovatie op de vorm van het rekenkamerproduct. Niet alleen maar dikke rekenkamerrapporten, maar presentaties in powerpoint of zelf prezi, checklists, beslisbomen, films, roadmaps enz. Ik verwacht dat de innovatie hiermee nog niet teneinde is. Sterker, ik verwacht dat we nog maar pas aan het begin staan van een ontwikkeling die niet alleen de vorm van het rekenkamerproduct, maar ook het werk van de rekenkamer zelf zal veranderen. In de participatie­samenleving die door rijks-  en lokale overheid wordt nagestreefd, wordt meer en meer verwacht van de burger, van zijn zelfredzaamheid en is meedoen aan de civil society de norm. De burger zal van zijn kant meer en meer inspraak en directe invloed verlangen op de politieke  besluitvorming. De overheid zal daar alert op moeten reageren en zich daarvoor moeten openstellen. Dat vraagt ook wat van de rekenkamercommissie als onderdeel van de lokale democratie. De rekenkamer zal zich moeten bezinnen op zijn rol, en zal mijns inziens een schakel moeten vormen in de verantwoording van het lokaal bestuur en de uitvoerders van het beleid naar de burger toe. Het is ondenkbaar dat moderne media geen rol zullen spelen in deze innovatie van het toezicht. En, laten we het maar een polemisch stellen, de vraag of rekenkamers daarbij aan kunnen haken zou nog wel eens bepalend kunnen zijn of rekenkamers 2025 halen.

De vorm van het rekenkamerproduct kan heel goed door de gebruikers, raadsleden en griffiers, beoordeeld worden, mogelijk aangevuld met een peer group evaluatie of visitatie.

Presentatie

Het rekenkamerproduct moet nog verspreid worden om ervoor te zorgen dat de aanbevelingen de juiste aandacht krijgen, zie het verspreidingsmodel van Bekkers e.a. 2004. Dat heeft voor een deel te maken met timing en vorm, zie hiervoor, maar ook met communicatie. En dat gaat verder dan een persbericht sturen naar de 'usual suspects' aan media. De boodschap moet optimaal en actief ondersteund worden om opgemerkt te worden door de raad, college, ambtenaren, eventueel betrokken instellingen en burgers.

Niet ieder rekenkamerproduct of aanbeveling leent zich voor verre verspreiding. Een onderzoek naar een onderwerp als tijdigheid en relevantie van de informatievoorziening aan de raad hoeft niet breed in de pers uitgemeten te worden. Maar kan alsnog goed verspreid en begeleid worden door de rekenkamer om de aanbevelingen optimaal te laten landen bij de gebruikers. Dus, afhankelijk van de politieke of maatschappelijke gevoeligheid van het onderwerp, de lading van het rekenkamer­product en de soort gebruiker kunnen/moeten rekenkamers nadenken over hoe de boodschap het best begeleid en uitgedragen kan worden.

De verspreidingsvorm heb je overigens niet altijd zelf in de hand, de media hebben zo hun eigen, soms ondoorgrondelijke beweegredenen. De rekenkamer kan de boodschap in ieder geval actief aanbieden. Zo noemen Bekkers e.a. bij verspreiding ook artikelen in (wetenschappelijke) tijdschriften. Dat helpt zeker bij het imago van de rekenkamer als betrouwbaar orgaan en zal allicht op de lange termijn indirect bijdragen aan doorwerking (conform het science model van Bekkers e.a. 2004), maar draagt bij de doelgroep waarschijnlijk weinig direct bij aan acceptatie van aanbevelingen van rekenkamers. Doorwerking, zoals hier bedoeld, is ook geen criterium voor plaatsing in een wetenschappelijk vaktijdschrift, maar als plaatsing lukt moet je het als rekenkamer zeker niet nalaten.

Signalerend voor de mate van doorwerking met betrekking tot presentatie en verspreiding is de mate en kleur waarin de aanbevelingen of product van de rekenkamer aangehaald worden in beleidsnotities van de gemeente en/of instellingen die gemeentelijk of aanpalend beleid uitvoeren. Of genoemd worden in de media. Geciteerd worden wil overigens nog niet zeggen dat er doorwerking is in de zin dat de aanbevelingen ook echt wordt geluisterd naar de rekenkamer. Fixatie op citaties en indexen is gevaarlijk, weten we door de hedendaagse schandalen in de wetenschap.

De presentatie, of verspreiding van het product en de aanbevelingen van de rekenkamer, kan mijns inziens het best beoordeeld worden door de gebruikers zelf, eventueel aangevuld met een peer group evaluatie of visitatie.

Definitie

Welnu, daarmee hebben we de belangrijkste stappen van het rekenkamerproces doorlopen en inductief een raamwerk voor doorwerking geopperd. Mist eigenlijk nog de definitie van doorwerking van rekenkamers in de lokale democratie. Een klein tipje van de sluier over de definitie is in deze blog reeds opgetild, dus laat ik maar meteen de definitie geven zoals mij die voor ogen staat en wat eigenlijk de taak is van lokale rekenkamers (en die van de provincies en waterschappen):

Doorwerking heeft een rekenkamercommissie als diens product of aanbevelingen bijdragen aan de verbetering van de beleidsvorming, besluitvorming en beleidsuitvoering door en/of namens het gemeentebestuur

Terzijde: met het oog op de toekomst hebben we hiermee de gemeenschappelijke regelingen en PPS-constructies ook meteen meegenomen, in de veronderstelling dat minister Plasterk de belofte van eind oktober 20143 nakomt om het controlegat na de decentralisaties te verhelpen.

De vraag is of de in deze blogs behandelde parameters nu dan iets zeggen over doorwerking zoals bedoeld in deze definitie? Veel van de parameters zijn helaas slechts voorwaardelijk. En nu was ik begonnen door te zeggen dat ik bang was dat Hoekstra's deductieve aanpak slechts randvoorwaardelijke parameters zou opleveren. Klopt, ik trap in dezelfde valkuil. Ook al is de timing van het onderzoek goed, de uitvoering van het onderzoek kwalitatief onomstreden, het product zeer toegankelijk en de presentatie glad verlopen, dan nog hoeft er geen sprake te zijn van doorwerking in de zin van bovenstaande definitie. Rekenkamers zitten in een politieke omgeving, rond een podium waarop maatschappelijk tegengestelde belangen hun kristallisatiepunt vinden. Het rekenkamerwerk en –product gaat bij publicatie onderdeel uitmaken van het vertoog in de politieke arena. Je kunt dan als rekenkamer aan alle kwalitatieve voorwaarden hebben voldaan, maar dat hoeft nog niet te leiden tot verbetering van de besluitvorming of het door of namens het gemeente­bestuur gevoerde beleid. Op zijn best zijn de meeste parameters dus 'circumstancial evidence' voor doorwerking.

Zeggen de parameters dan niets? Toch wel, want andersom gaat de redenering namelijk niet snel op. Als de rekenkamer zich geen rekenschap geeft van kwaliteit en een kwalitatief slecht rapport oplevert, is de kans bijna nihil dat er doorwerking is. Bijna nihil, want ik schat de kans niet geheel op 0, dat de strijd in de politieke arena er best eens voor zou kunnen zorgen dat een zwaar ondermaats rekenkamerproduct toch doorwerking heeft.

Instrument

Doorwerking is mijns inziens een optelsom van de scores op de hier behandelde parameters, plus de score op het belangrijkste eerste aspect, namelijk die van de taak van de rekenkamer. Met de definitie van doorwerking van rekenkamers in het achterhoofd, en dan zie je meteen dat deze exercitie een werkendeweg en iteratief proces is, wil ik de lijst zelf nog amenderen, met name het eerste aspect, 'taak' van de rekenkamer.

Daarvoor ga ik terug naar het werk van Bekkers e.a. Deze onderscheidt met betrekking tot strategische beleidsadviezen vier vormen van doorwerking: instrumenteel, conceptueel, agenderend, politiek-strategisch. Kort resumerend: instrumentele doorwerking leidt tot een directe verandering in gedrag van individuen of organisatie; conceptuele doorwerking is indirect, een lange termijn wijziging van kennis, opvattingen of redeneringen van individuen of organisatie; agenderende doorwerking is het op de agenda zetten van een nieuw beleidsthema of maatschappelijk debat; politiek-strategische doorwerking geldt de versterking van de machtspositie van één of enkele spelers om politieke doelen te realiseren.

Deze laatste vorm van doorwerking is mijns inziens niet van toepassing op het werk van reken­kamers, en beperkt zich tot de wereld van strategische beleidsadviezen. Die laat ik hier dan ook buiten beschouwing. De agenderende vorm heb ik al grotendeels meegenomen in 'voorwerking'. De agenderende vorm van doorwerking, namelijk het op de agenda plaatsen van een nieuw onderwerp, kan zeker bijdragen aan het doel om de beleidsvorming, besluitvorming en beleidsuitvoering door en/of namens het gemeentebestuur te verbeteren.

En dan resten er de instrumentele (directe) en conceptuele (indirecte) vormen van doorwerking. Een van de signalen voor de instrumentele vorm van doorwerking, genoemd door Bekkers e.a., is het aantal of percentage overgenomen aanbevelingen. Degenen die al een tijdje meelopen in rekenkamerland zullen meteen beamen dat dit weliswaar een hard gegeven is, maar dat nog niet wil zeggen dat de aanbeveling daarmee is geïmplementeerd of wordt nageleefd. Het is vaak een mantra van colleges om te melden dat ze de uiterst waardevolle aanbevelingen van de rekenkamer overnemen. Of er daarna iets mee gebeurt, is de vraag. Vaak hangt daadwerkelijke implementatie en naleving ervan af of de rekenkamer een vervolgonderzoek instelt. De instrumentele doorwerking zou dus nog nader gespecificeerd kunnen worden met 'overgenomen, geïmplementeerd en nageleefde aanbevelingen'.

De conceptuele doorwerking is lastiger te meten, omdat het hier om lange termijn wijzigingen van kennis, opvattingen en redeneringen van individuen en organisaties gaat. Die zijn niet makkelijk terug te herleiden naar specifieke aanbevelingen of rapporten van rekenkamer. Wat je in ieder geval kunt constateren is dat, wanneer een rekenkamer in 10 opeenvolgende rapporten aanbeveelt dat de beleidsdoelstellingen SMART geformuleerd moeten worden, de rekenkamer weinig conceptuele doorwerking heeft. Het gaat bij conceptuele doorwerking om het bijdragen aan sensitiviteit en opvattingen bij de gemeente op onderwerpen en werkwijzen die beleidsvorming, besluitvorming en beleidsuitvoering verbeteren. Dat is niet direct tastbaar in een meetbare parameter voor doorwerking, zoals overgenomen en geïmplementeerde aanbevelingen. Bovendien is de rekenkamer daarbij afhankelijk van het adaptatie- en leervermogen van individuen en organisatie. Daar kun je dan als rekenkamer rekening mee houden bij vorm en verspreiding van het rekenkamerproduct om uiteindelijk toch doorwerking te sorteren.

In het instrument stel ik voor om de deze vormen van doorwerking bij de taak van de rekenkamer op te nemen. De bijdrage van de rekenkamer aan de kaderstellende en controlerende taak van de raad komt als deelaspect daarin terug, want dat maakt deel uit van de beleidsvorming, besluitvorming en beleidsuitvoering van het gemeentebestuur. Al met al kom ik dan tot onderstaand voorstel voor een instrument om doorwerking van rekenkamers te concretiseren en uiteindelijk te vertalen in een meetinstrument.

 

Instrument doorwerking rekenkamers

 

Aspect

Wat

Hoe

Taak

Verbetering van  beleidsvorming, besluitvorming en beleidsuitvoering door en/of namens het gemeentebestuur

(Directe) beïnvloeding gedrag van individuen en organisatie

Raadsleden, griffiers, ambtenaren, wethouders vragen, mening rekenkamer + aantal/% geïmplementeerde aanbevelingen

(Indirecte) beïnvloeding kennis, opvattingen en werkwijzen individuen en organisatie

Raadsleden, griffiers, ambtenaren, wethouders vragen, mening rekenkamer

Agendering

Timing

Samenloop met agenda van de raad

Raadsleden en griffiers vragen, mening rekenkamer

Onderwerpkeuze

Rekening gehouden met de behoefte van de raad

Raadsleden en griffiers vragen, mening rekenkamer

Voorwerking

Agendering leidt tot gedragsverandering

Mening rekenkamer

Uitvoering

Aanpak

De juiste methode om het vraagstuk te onderzoeken

Peer group of visitatie of aanmoedigings­prijzen

Interactie

Communicatie en interactie met ambtenaren, wethouders, raadsleden en burgers tijdens onderzoek

Peer group of visitatie, aangevuld met ambtenaren, wethouders, raadsleden en burgers

Product

Analyse

Bevindingen volgen uit de aanpak, de conclusies volgen uit de bevindingen, de aanbevelingen volgen uit de conclusies

Raadsleden en griffiers vragen, peer group of visitatie

Vorm

De gekozen vorm onder­steunt optimaal inhoud en boodschap

Raadsleden en griffiers vragen, peer group of visitatie

Presentatie

Verspreiding

De verspreiding onder­steunt optimaal de boodschap

Peer group of visitatie, aangevuld met ambtenaren, wethouders, raadsleden en burgers

 

Ik moet toegeven dat dit model de charme ontbeert van een acroniem zoals dat van Hoekstra's BACKTO. Van TAUPP of VTOVAIAVV word ik in ieder geval niet heel echt warm. Dus een poging om er een klinkend acroniem van te maken laat ik maar achterwege.

Toepassing van het instrument lijkt het best te kunnen plaatsvinden in het kader van een visitatie of peer group evaluatie. Het is overigens wel een ander instrument dan een visitatie of evaluatie, maar kan er onderdeel van uitmaken. Overigens, de commissie kwaliteitszorg van de NVRR komt op korte termijn met een model voor visitatie van rekenkamers.

Het instrument doorwerking is waarschijnlijk het meest geschikt op het niveau van het individuele rekenkamerproduct. Een rekenkamer heeft namelijk doorwerking met een rapport of andersoortig product.  Als de rekenkamer met meer producten doorwerking heeft, kan verondersteld worden dat de rekenkamer effectief is en doorwerking heeft.

Het instrument is daarmee op hoofdlijnen gepresenteerd en laat ik eraan toevoegen 'in concept'. Ik ben misschien uitgegaan van verkeerde veronderstellingen, wellicht ben ik parameters vergeten of had parameters anders kunnen duiden of bevragen. Discussie, aanvullingen, verbeteringen en suggesties hierop zijn uiteraard welkom. Daarna kan het instrument nader ingevuld of geoperationaliseerd worden. Per item onder 'wat' kunnen 1-3 vragen opgenomen worden die aan de groepen onder 'hoe' gesteld kunnen worden. De gecombineerde score op deze 20-30 items zouden dan een zicht moeten geven op de doorwerking van een rekenkamer en daarmee de bijdrage die deze heeft aan de verbetering van de beleidsvorming, besluitvorming en beleidsuitvoering door en/of namens het gemeentebestuur.

Reacties (1)

  • 23-02-2014 12:48
    door Nysius van Rijn
    Ik ben voorzitter van een rekenkamercommissie. Ik ben ook lid van de commissie kwaliteitszorg van de NVRR, net als Etienne Lemmens. Ik voel mij dus verplicht om te reageren op de blogs van Etienne. Trouwens, dat heb ik hem ook beloofd, dus bij deze.

    Allereerst een algemene opmerking. Een blog is naar mijn mening een tekst, die je leest vanaf je beeldscherm. Kort en puntig is dus een vereiste. Mogelijkerwijs (hopelijk) zet de blog aan tot denken en/of doen. De lengte van de twee blogs van Etienne is te groot. Ik beschouw het dus ook als een uitdaging om kort te zijn. De blogs hebben mij wel aangezet tot denken en doen.
    Ik hang mijn commentaar op aan de parameters uit het gepresenteerde instrument.

    Agendering

    Een rekenkamer is niet autistisch. Luisteren naar je omgeving is een must. Zelfs onderzoeken op verzoek zijn een mogelijkheid, met behoud van de onafhankelijkheid.
    Timing is vaak een probleem: wat actueel is, hoeft niet onderzoekwaardig te zijn. Wat een interessant onderzoeksonderwerp is, hoeft niet actueel te zijn. Door het onderzoek kan het wel actueel worden (agenderende werking).
    Voorwerking zou geen frustratie moeten opleveren, maar juist tevredenheid over de beweging in de richting die gewenst is.

    Uitvoering

    Iedere rekenkamer heeft (denk ik) een methodische aanpak van de onderzoeken. Dat geldt ook voor onderzoek dat wordt uitbesteed. Door die methodische aanpak zijner meestal geen twijfels over de betrouwbaarheid van de resultaten. In die aanpak is een belangrijke richtingwijzer de doelgroep. De te boeken resultaten moeten begrijpelijk en toepasbaar zijn voor de raad. Het spreekt voor zich dat interactie met ambtenaren, raadsleden en collegeleden tot het logische arsenaal van een rekenkameronderzoek behoort.

    Rekenkamerproduct

    Ik heb tot nu toe nooit anders geproduceerd dan door middel van een rapport. Maar wel altijd een zo dun mogelijk rapport. Veel bijlagen is niet zo erg, veel onderzoekteksten en methodologische bespiegelingen zijn afgrijselijk.
    Ook ik ben een voorstander van het achterwege laten van bestuurlijk wederhoor. Naast de genoemde elementen speelt er nog één een rol. De rekenkamer is een apolitieke instelling. Die moet zich nooit laten verleiden tot een politieke discussie. Bij bestuurlijk wederhoor is dat risico levensgroot.

    Presentatie

    Lang niet alle onderzoeken lenen zich voor een persbericht. Vooral bedrijfsvoering is weinig mediageniek. Indien er wel sprake is van een interessant onderwerp voor burgers en pers, zorg dan voor een kort en pakkend persbericht. In uitzonderingsgevallen kan je ook nog kiezen voor een persconferentie.

    Tot slot

    Ik ga geen poging doen om een verbeterde definitie te formuleren. Ik wil nog wel iets zeggen over de verantwoordelijkheid.
    Een rekenkamer levert een zo goed mogelijke prestatie, rekening houdend met de lokale omstandigheden. Vervolgens zijn er in mijn ogen maar weinig mogelijkheden om invloed uit te oefenen op de doorwerking. Consistentie in conclusies en aanbevelingen door de jaren heen hebben mogelijk een effect op de conceptuele doorwerking, maar veel meer kun je m.il. niet doen.
    Ik hoop dat mijn kort-door-de-bocht reactie opnieuw leidt tot een reactie, van wie dan ook. Het gaat toch om denken en doen, niet?