Skip to main content

Selectiecriteria voor rekenkameronderzoek

Het is gebruikelijk om voor een eerste selectie van onderzoeksonderwerpen een aantal selectiecriteria te hanteren. De rekenkamer(commissie) kan desgewenst vooraf aan bepaalde criteria een groter gewicht toekennen:

  • De mate waarin het onderwerp past binnen de taakopdracht die de rekenkamer(commissie) in de wet heeft meegekregen.
  • De mate waarin het onderwerp past binnen de specifieke taakopdracht en bevoegdheden zoals vastgelegd in de verordening op de rekenkamer(commissie).
  • Een zo groot mogelijke bijdrage aan de missie / doelstellingen van de rekenkamer(commissie), gerelateerd aan de inzet van schaarse onderzoekscapaciteit.
  • Substantieel financieel, organisatorisch, bestuurlijk of maatschappelijk belang.
  • Twijfel over de effectiviteit van het beleid, de doelmatigheid van de uitvoering of de rechtmatigheid van het beleid.
  • Mate van risico voor de gemeente, waaronder financieel;
  • Toegevoegde waarde: het onderzoek levert informatie op die niet reeds uit andere bronnen bekend is.
  • Benutten van specifieke bevoegdheden.
  • Spreiding (variatie in onderwerpen, in onderzochte diensten en eventueel politiek, in portefeuilles van wethouders).
  • Bruikbaarheid (inspelen op verzoeken), bruikbaarheid van aanbevelingen en verwachte leereffecten.

Een onderzoeksprogramma zal in de praktijk tussen de 1 en 3 onderzoeken per jaar bevatten. Daarnaast kan ook nog een aantal aanvullende activiteiten (bijvoorbeeld advisering) worden gepland.

Onderzoek uitbesteden

De keuze voor zelf doen of uitbesteden hangt af van de eigen capaciteit, zowel kwalitatief als kwantitatief. Specifieke expertise kan vaak beter worden ingehuurd, dan zelf worden verworven.

Manieren van uitbesteden

Inzet van externen kan op verschillende manieren:

  • zelf doen, al dan niet met tijdelijke uitbreiding van de eigen capaciteit of deskundigheid;
  • gezamenlijk met andere rekenkamers;
  • geheel uitbesteden van het onderzoek aan derden. De externe inzet kan op verschillende manieren plaatsvinden:
    • inhuur van derden;
    • uitbesteding van onderdelen van het project;
    • detachering;
    • stageplaatsen;
    • organisatie van een klankbordgroep;
    • naast de uitvoering door externen een andere deskundigheid in te schakelen voor het kritisch meelezen van en meesturen aan het onderzoek.

Inkoopbeleid eigen organisatie (gemeente)

Het is van belang vooraf kennis te nemen van inkoop- en aanbestedingsbeleid van de (eigen) organisatie. Bijvoorbeeld: maakt de eigen gemeente gebruik van algemene inkoopvoorwaarden.

Opdrachtformulering

Een zeer belangrijke succesfactor voor uitbesteding is de kwaliteit van de opdrachtformulering. Een slechte opdracht leidt nooit tot een goed onderzoek. Vage vragen leiden tot vage antwoorden. Het formuleren van een goede opdracht vereist meestal wat voorwerk van de rekenkamer zoals het voeren van oriënterende gesprekken, het lezen van beleidsnota’s e.d. De kennis hieruit moet de rekenkamer vastleggen in een onderzoeksopzet, met daarin o.a. de onderzoeksvragen.  Een goede opdrachtformulering kost tijd maar is een noodzakelijke voorwaarde voor een succesvolle uitbesteding. Een goede opdracht is concreet (eenduidige vraagstelling), afgebakend (vraagstelling, tijd, middelen) en doelgericht (welke uitspraken en welke producten moet het onderzoek opleveren?). Na een goede opdrachtformulering kan de rekenkamer(commissie) verder gaan met het offertetraject.

Aandachtspunt: belangenverstrengeling

Aangeraden wordt om al bij de offerteaanvraag aan de offrerende bureaus te vragen of zij op het betreffende terrein ook werkzaam zijn voor de eigen gemeente.
De vijver van onderzoeksbureaus waaruit gevist kan worden is meestal niet erg groot. Bureaus die interessant zijn voor uitvoering van rekenkameronderzoek, blijken vaak ook werkzaam te kunnen zijn voor college en/of raad. Dat brengt het risico van belangenverstrengeling met zich mee. Dat kan vervolgens er toe leiden dat een potentieel interessant bureau afvalt.

Tijdens het onderzoek door externen

Het kan verstandig zijn de onderzoekers persoonlijk te introduceren bij de betrokkenen bij het onderzoek van binnen  en buiten de gemeentelijke organisatie.
De rekenkamer(commissie) kan bovendien veel misverstanden tussen rekenkamer (commissie), onderzoekers en onderzochte afdelingen voorkomen door daarnaast een aantal procesmatige zaken goed te regelen:

  • houd tijdens het onderzoek frequent contact met de onderzoekers om vroegtijdig afwijkingen van de oorspronkelijke vraag, mogelijke fricties met de onderzochten en lacunes in redeneringen te signaleren;
  • aanwezigheid van een vertegenwoordiger van de rekenkamer(commissie) bij interviews die de onderzoekers voeren met sleutelfiguren;
  • spreek af dat er regelmatig over tussentijdse bevindingen wordt gerapporteerd en overleg plaats vindt met de rekenkamer of een ingestelde begeleidingscommissie;
  • maak afspraken over de wijze van vastlegging van gesprekken, dossiervorming etc.
  • blijft erop alert dat de bevindingen, conclusies en oordelen in de onderzoeksrapportage volledig op elkaar aansluiten.

De rekenkamer (commissie) zal te allen tijde zelf de regie in handen moeten houden. Zij is tenslotte eindverantwoordelijk voor het onderzoek. Bij onvoldoende regie is het risico aanwezig dat het onderzoek een kant opgaat die niet meer aansluit bij de oorspronkelijke probleemstelling. De rekenkamer(commissie) krijgt dan iets anders dan waarom zij gevraagd heeft. Daar kunnen goede redenen voor zijn. Maar het is wel de rekenkamer(commissie) zelf die akkoord zal moeten gaan met de keuzes in het onderzoek.

Risico’s van verstoorde verhoudingen

Tijdens het onderzoek is de verhouding tussen onderzoekers en ambtenaren van de gemeente belangrijk. Als die verhouding verstoord raakt kan dat het onderzoek ernstig schaden: onderzoekers kunnen worden tegengewerkt, gegevens kunnen worden achtergehouden etc. Ook dit soort zaken dient zo spoedig mogelijk onder de aandacht van de rekenkamer(commissie) te komen zodat deze zo snel mogelijk actie kan ondernemen.

Ervaringen andere rekenkamer(commissie)s

Via de site van de NVRR kan gezocht worden naar rekenkamer(commissie)s die eerder onderzoek hebben uitbesteed naar een bepaald onderwerp. De ervaringen die zij daarbij hebben opgedaan worden graag gedeeld.

Selectieproces onderzoeksonderwerpen

Een onderzoeksprogramma kan tot stand komen door aan de hand van concrete selectiecriteria een aantal onderwerpen uit de groslijst te selecteren. Het is voor de effectiviteit van de rekenkamer(commissie) doorslaggevend dat de goede onderwerpen op het goede moment worden onderzocht. Zo’n selectieproces kan op verschillende manieren verlopen. De uiteindelijke keuze voor een onderwerp is geen objectief gegeven, maar de uitkomst van een discussie, waarin objectieve criteria een rol spelen naast ‘intuïties’ op basis van signalen.

Suggestie mogelijk eerste selectieproces

Elk lid van de commissie kan bijvoorbeeld een beargumenteerde ‘top 5’ maakt aan de hand van de selectiecriteria. Het uiteindelijke programma is dan de optelsom van alle top 5’en.

Verdieping door vooronderzoek

Indien nodig kan hierna, maar vóór de definitieve vaststelling van het onderzoeksprogramma, een eerste verdiepingsslag gemaakt worden (’een vooronderzoek’). Zo kan de rekenkamer(commissie) een meer beargumenteerde prioritering maken.

Verdieping door selectietoets

Verdieping van het eerste selectieproces is het uitvoeren van een selectietoets voor een beperkt aantal geselecteerde onderwerpen. Deze selectietoets dient een aantal vragen te beantwoorden:

  • Wat is het doel, onderwerp, aanleiding?
  • Welke subonderwerpen zijn te onderscheiden (zeker wanneer het aanvankelijke onderwerp nog te algemeen is geformuleerd)?
  • Welke bronnen zijn geraadpleegd?
  • Welke beleidsnota’s zijn van belang?
  • Wat is de (recente) bemoeienis van de raad?
  • Wat is precies het probleem ofwel wat is de reden voor een onderzoek?
  • Wat is de gemeentelijke competentie blijkend uit relevante wet- en regelgeving?
  • Wat is het financieel belang?
  • Is er ander onderzoek verricht of in uitvoering? Zijn op basis van een verkenning hiervan relevante bureaus en/of onderzoekers te identificeren?
  • Is al iets te zeggen over projecttechnische succes- en faalfactoren (zoals de beschikbaarheid van specifieke kennis, de behoefte aan externe deskundigheid, de omvang en ordelijkheid van de dossiervorming terzake, specifieke stellingname van B&W, raad, media e.d. ten aanzien van het onderwerp)?

Een selectietoets biedt zo een beargumenteerde conclusie om een bepaald onderwerp wel of niet in het onderzoeksprogramma op te nemen.

Procesmatig zijn voor de selectietoets verschillende activiteiten denkbaar: vooral bureauonderzoek (raadplegen van uiteenlopende informatiesystemen, telefonische informatierondes), maar ook in beperkte mate verkennende en oriënterende gesprekken.

Verzoek van de raad voor rekenkameronderzoek

De rekenkamer bepaalt de eigen onderzoeksagenda. Maar de raad mag van de wetgever een formeel verzoek indienen bij de rekenkamer(commissie). Een formeel verzoek van de raad is geen geheel vrijblijvende aangelegenheid. Maar, de raad kan géén opdracht geven aan de rekenkamer tot het uitvoeren van een onderzoek.

Afspraken over vorm van een formeel verzoek

Het is van belang dat er goede afspraken zijn over de manier waarop een formeel verzoek van de raad kan plaatsvinden. Bijvoorbeeld:

  • in de vorm van een formeel raadsverzoek (op basis van een raadsmeerderheid) dat wordt voorgelegd aan de rekenkamer,
  • motiveringsvereiste waarom de raad een verzoek indient of
  • dat ook een verzoek vanuit een of meer fracties of door een individueel raadslid mogelijk is.

Beslissing op het verzoek

Het is de rekenkamer zelf die beslist of wordt ingegaan op een verzoek. Hiervoor kan de rekenkamer gebruik maken van beoordelingscriteria voor een verzoek om rekenkameronderzoek.

Uiteraard is een goede motivering om te beoordelen of het onderwerp onderzoekswaardig is voor de rekenkamer(commissie) van belang. Aangeraden wordt hiervoor regels vast te leggen, bijvoorbeeld in de verordening. Deze regels zijn de basis voor de motivering van het al dan niet honoreren van een verzoek van de raad.

Redenen om niet in te gaan op een verzoek van de raad kunnen bijvoorbeeld zijn dat het onderwerp niet past binnen de taakopdracht of de bevoegdheden van de rekenkamer(commissie), het onderwerp te politiek van aard is of dat het onderwerp niet te onderzoeken is (te groot, te vage vraagstelling etc.). In het laatste geval ligt het voor de hand dat de rekenkamer(commissie) in overleg treedt met de raad om te bekijken of er tot een betere onderzoeksvraagstelling gekomen kan worden.

Onderzoeksmethoden en –technieken

Rekenkameronderzoek kan plaatsvinden met behulp van verschillende methoden en technieken.

Traditioneel rekenkameronderzoek

De belangrijkste elementen bij het ontwerpen van een traditioneel onderzoek zijn:

  • het formuleren van een goede probleemstelling en normenkader;
  • dossieronderzoek ter vaststelling van probleemstelling en normenkader;
  • dossieronderzoek ter toetsing van de uitvoering;
  • enquêteren  van verantwoordelijken en/of de doelgroep;
  • gesprekken en/of interviews  met verantwoordelijken en/of de doelgroep;
  • het formuleren van een sluitende keten van bevindingen, normen, conclusies, oordelen en aanbevelingen.

Lichtere vormen van onderzoek

Bij de beantwoording van de ‘wat gaan we doen’-vraag is het van belang om goed voor ogen te houden dat een lokale rekenkamer(commissie) ook andere instrumenten tot haar beschikking heeft dan alleen langlopend, grootschalig onderzoek.

Deze ‘lichtere’ onderzoeksvormen kunnen bepaalde onderwerpen op relatief snelle wijze onder de aandacht van de raad brengen, waardoor de rekenkamer waar nodig ook op actualiteiten kan inspelen of kan voorsorteren op eventueel diepergaand onderzoek.
Een rekenkamer zou vanuit kosten- en effectiviteitsoogpunt kunnen streven naar een mix van producten, bijvoorbeeld:

  • op basis van een quick scan of vooronderzoek een specifiek probleem bij de raad agenderen;
  • een (rekenkamer)brief aan de raad richten waarin de raad wordt geattendeerd op risico’s of een mogelijk probleem in de toekomst;
  • een review uitvoeren van onderzoek dat al door anderen is verricht (bijv. een review van het onderzoek naar de jaarrekening door de accountant); of een review naar een onderzoek ex art 213a;
  • jaarlijks de kwaliteit van de programmabegroting kritisch bekijken en de raad daar over informeren.

Bij een lichtere vorm van onderzoek liggen alternatieve presentatievormen voor de hand.

Pilot-onderzoek

Het kan zinvol zijn, alvorens het onderzoek wordt gestart één of meer pilotstudies uit te voeren om zo bepaalde onderdelen van een onderzoek (reikwijdte vraagstelling, vragenlijst, analysetechniek, normenkader, informatievoorziening, doelgroep e.d.) uit te testen en op basis daarvan zonodig bij te stellen alvorens over te gaan tot een bredere toepassing.
Vooral bij gemeentebrede onderzoeken verdient het aanbeveling eerst testonderzoeken (‘pilots’) uit te voeren bij een of enkele diensten.

Doelmatigheidsonderzoek

Op de website van de Algemene Rekenkamer is de Handreiking Meten van doelmatigheid opgenomen. De handreiking geeft goede handvatten voor het uitvoeren van doelmatigheidsonderzoek. Aan de orde komen:

  • de begrippen prestaties, effecten en doelmatigheid;
  • het afbakenen van het te onderzoeken onderwerp;
  • het verzamelen van gegevens en het zoeken naar verklaringen;
  • het berekenen van doelmatigheid en het omgaan met doelmatigheidskengetallen.

Noodzaak statisch onderzoek

In het algemeen zal het niet noodzakelijk zijn om voor rekenkameronderzoek gebruik te maken van heel ingewikkelde (statistische) onderzoeksmethoden.

Sjabloon offerte aanvraag

Aanleiding en doelstelling

Geef hier aan waarom het onderzoek wordt uitgevoerd en wat er met dit onderzoek bereikt moet worden. Dit geeft bureaus inzicht in de achterliggende problematiek en vragen. Ook wordt hiermee duidelijk gemaakt wat er met het onderzoek bereikt moet worden bijvoorbeeld een verandering teweeg brengen, de waarheid boven tafel krijgen of leerervaringen opdoen. Getoetst moet worden aan doeltreffendheid, doelmatigheid en rechtmatigheid.

Probleemstelling en onderzoeksvragen

Omschrijf wat de probleemstelling van het onderzoek is. Dit is de meest basale onderzoeksvraag die gesteld kan worden. Er zou van het onderzoeksbureau verwacht mogen worden dat ze deze vraag kunnen vertalen in een aantal concrete onderzoeksvragen. Daar zou gebruik van gemaakt kunnen worden. Natuurlijk kun je ook zelf de onderzoeksvragen formuleren en aan het bureau vragen of ze ermee uit de voeten kunnen en/of ze zelf nog aanvullende vragen hebben. In ieder geval dienen de onderzoeksvragen door het bureau beantwoord  te worden. Dit dient in de offerteaanvraag duidelijk te worden aangegeven.

Specifieke wensen ten aanzien van de methode en werkwijze

Vermeld hier eventuele specifieke wensen ten aanzien van de te gebruiken onderzoeksmethode en werkwijze. Moeten er interviews plaatsvinden en dan met wie, bijvoorbeeld medewerkers van de ambtelijke organisaties, bestuurders, raadsleden, externen bijvoorbeeld burgers. Geef eventueel ook aan of er bepaalde bestaande gegevens/bestanden in het onderzoek moeten worden meegenomen. Ga echter hier zorgvuldig mee om. Je kunt hiermee de gehele opzet van het onderzoek “dichttimmeren” terwijl het van belang is de creativiteit en deskundigheid van de offrerende onderzoeksbureaus te testen.

Ook eventuele wensen van de samenwerking met de opdrachtgever zijn van belang. Hoe moet de voortgang worden bewaakt, wie is de contactpersoon tijdens het onderzoek en hoe wordt er gekeken tegen ambtelijke en bestuurlijk hoor en wederhoor en welke rol speelt het onderzoeksbureau daarin. Vermeld hier eventueel ook in welke mate het bureau een rol speelt in het communicatietraject.

Procedure en planning

Geef hieraan wanneer de offerte ontvangen moet zijn, bijvoorbeeld datum en tijdstip en op welke wijze de offerte ingediend moet zijn (digitaal of een hardcopy of beide). Geef tevens aan welke mogelijkheden er zijn om  vragen te stellen, schriftelijk of telefonisch en aan wie. Ook voor het stellen van vragen dient een deadline te worden aangegeven bijvoorbeeld binnen veertien dagen na ontvangst van de offerteaanvraag. Bij schriftelijk ingediende vragen heb je de mogelijkheid om de andere bureaus daar ook kennis van te laten nemen. Dit dien je echter vooraf aan te geven. Omschrijf hier ook de selectieprocedure als de doorlooptijd van het onderzoek en wanneer en op welke wijze er met het onderzoek begonnen wordt. Bijvoorbeeld er zou begonnen kunnen worden met een startbijeenkomst voor de betrokkenen.

Eindproduct

Geef hierbij aan of het eindproduct een onderdeel is van een rapport van de rekenkamercommissie of dat het een zelfstandig herkenbaar rapport van een extern bureau is of dat het bureau er een herkenbaar rapport van de rekenkamercommissie van moet maken.

Beschikbare budget

Dit is facultatief. We zijn natuurlijk niet verplicht aan te geven welk budget er beschikbaar is voor het onderzoek. Bij relatief eenvoudige onderzoeken is dit ook niet nodig, tenzij het budget erg laag is. Echter bij meer complexe onderzoeken waarbij de bureaus veel vrijheid hebben bij het bepalen van hun voorstel kan het handig zijn om een indicatie van het budget aan te geven. Dit voorkomt een te beperkt of een te uitgebreid onderzoeksvoorstel en op deze wijze kunnen onderzoeksvoorstellen beter met elkaar vergeleken worden (prijs-kwaliteit verhouding).

Selectiecriteria

Geef hierbij aan op basis van welke criteria de offertes worden beoordeeld. Hoe worden zaken als prijs, de aanpak en de ervaring van het bureau tegen elkaar afgewogen. Wordt er gewoon voor de goedkoopste offerte gekozen of wordt er voor de beste aanpak gekozen die binnen het budget blijft of er eventueel iets boven kan liggen? Een aantal criteria zal hierbij belangrijk gevonden worden zoals de inhoudelijke deskundigheid, de ervaring met dit type onderzoek verwijzend naar referenties, de gekozen methode en werkwijze. Ook speelt hier de onafhankelijkheid van het bureau een grote rol. Zijn er eerder opdrachten voor de gemeenten in opdracht door de gemeenten uitgevoerd? Hoe lang is dat geleden en met welk doel? Ook moet hier het onderzoeksprotocol ter sprake gebracht worden.

Eisen aan de offerte

Hier kan aangegeven worden dat de offerte rechtsgeldig moet zijn en moet worden ondertekend, in welke taal en valuta de offerte gesteld moet worden en dat de offerte deel uit maakt van een af te sluiten overeenkomst met het onderzoeksbureau. Bij de opdracht verlening kan er een overeenkomst met het bureau worden afgesloten. Ook dient de geoffreerde prijs van het onderzoek inclusief de te maken reiskosten te zijn.

Adres

Hier dient aangegeven te worden waar de offerte heen moet. Dus het postadres en het e-mailadres.

Bijlagen

Eventuele bijlagen die met de offerteaanvraag worden meegezonden kunnen hier vermeld worden. In ieder geval dient het onderzoeksprotocol,  het onderzoeksplan en de Algemene Inkoopvoorwaarden die op het onderzoek van toepassing zijn als bijlage meegezonden te worden.

auteur: Rekenkamercommissie Gemeente Aalten, Oost-Gelre en Winterswijk –  ingebracht door Wil Oosterveld

Onderzoeksopzet

De onderzoeksopzet wordt gemaakt na de keuze voor een onderzoeksonderwerp. De onderzoeksopzet geeft antwoord op de vraag waarom, wat, hoe, door wie en wanneer onderzocht gaat worden.

Voorbereiden onderzoeksopzet

Ter voorbereiding van het onderzoek zijn enkele gerichte acties wenselijk:

  • Vaststellen wat precies het onderwerp van onderzoek is en afbakenen van het onderzoeksonderwerp. Dat lijkt voor de hand te liggen, maar in de praktijk blijkt het soms niet eenvoudig om de juiste focus in het onderzoek aan te brengen. Bijvoorbeeld: wat onderzoeken we precies als we ‘het beleid’ onderzoeken? Richten we ons op prestaties of op effecten? Willen we uitspraken doen over enkele onderdelen of over de gemeente als geheel?
  • Vaststellen in welke context het onderzoek plaatsvindt, dat wil zeggen dat het duidelijk moet zijn waarom dit onderzoek juist nu plaatsvindt.
  • Normenkader al op hoofdlijnen voor ogen hebben: wanneer vinden we iets goed en wanneer fout?
  • Benaderen van deskundigen voor enkele algemeen oriënterende gesprekken en hen laten meedenken over een mogelijke aanpak.
  • Meer en detail raadplegen van relevante websites en het gemeentelijk informatiesysteem.
  • Verzamelen en nalopen op voor het onderzoek relevante informatie van onder meer de volgende bronnen:
    • concernbegroting(en) en jaarverslag(en);
    • dienstbegroting(en), jaarverslag(en) inclusief
    • accountantsrapport (en eventueel ook
    • managementbrief) en toetsrapporten bestuursdienst;
    • notulen / verslagen / agenda’s / agendaposten / bijlagen;
    • persberichten bestuur en diensten;
    • berichten in kranten (zoeken via internet).
  • Nagaan of vergelijkbare onderzoeken door andere rekenkamers zijn uitgevoerd, zie bijvoorbeeld de databank op www.nvrr.nl.

Als het niet mogelijk is normenkaderonderzoeksmethoden en planning al bij de start scherp te formuleren kan de rekenkamer(commissie) er ook voor kiezen eerst een vooronderzoek te doen en pas daarna een beter gedefinieerd hoofdonderzoek uit te voeren.
Andere opties om de onderzoeksaanpak scherp te krijgen is gebruik maken van kennis van andere rekenkamers (best practices van onderzoek op hetzelfde terrein) of een beroep doen op de expertise van onderzoekbureaus.
Ook is het nuttig bij uitbesteding rekening te houden met mogelijke (originele) suggesties die onderzoeksbureaus in hun offerte kunnen aandragen.

Belangrijke elementen onderzoeksopzet

Laat in de onderzoeksopzet de volgende onderwerpen aan bod komen:

  • Aanleiding: een korte beschrijving van het onderwerp en de argumenten voor het onderzoek (aandachtspunten zijn onder meer relevant beleid, wet- en regelgeving, het maatschappelijk en financieel belang).
  • Doelstelling: het beoogde effect van het onderzoek.
  • Probleemstelling, onderzoeksvragen en afbakening: de hoofdvraag en deelvragen die beantwoord moeten worden om de kennis te verkrijgen waarmee het beoogde effect kan worden bereikt.
  • Normenkader: de normen waaraan de bevindingen worden getoetst om een oordeel te vormen. Het kan van belang zijn om reeds bij de uitwerking van de onderzoeksopzet te bepalen welk normenkader in het onderzoek wordt gehanteerd. Bij publicatie van de onderzoeksopzet krijgen de betrokkenen zo een beeld krijgen over de normen op basis waarvan de rekenkamer(commissie) haar oordeel vormt. Let wel: vaak worden normen tijdens het onderzoek verder gepreciseerd en uitgewerkt.
  • Onderzoeksmethoden: de wijze waarop de gegevens worden verzameld (bijv. interviews, enquêtes, documentenstudie, gevalstudies). Sommige rekenkamer(commissie)s laten dit onderdeel ook wel eens over aan de creativiteit van de externe partij.
  • Organisatie, planning, kosten en procedure: vastleggen wie binnen de rekenkamer als trekker/ eerst aanspreekbare voor het onderzoek optreedt en wie het onderzoek begeleiden/uitvoeren. Hier ook aangeven of het onderzoek wordt uitbesteed aan een externe onderzoeker.

Afwijken van de onderzoeksopzet

Elk onderzoek is een zoekproces, waarbij op grond van voortschrijdend inzicht kan worden afgeweken van het oorspronkelijke plan. Dat kan er toe leiden dat sommige, vooraf bedachte onderzoekslijnen eerder worden afgesloten omdat al snel tot sluitende conclusies kan worden gekomen. Op andere punten kan op grond van (tussen)bevindingen juist geconstateerd worden, dat een verdere verdiepingsslag gemaakt moet worden.
Zo nodig vindt hierover communicatie plaats met betrokkenen en de raad(scommissie).

Aankondigen door publicatie onderzoeksopzet

De onderzoeksopzet kan na vaststelling door de rekenkamer openbaar worden gemaakt. Daarbij moet worden bepaald wie de onderzoeksopzet intern en extern ter kennisgeving wordt toegezonden. De raad, het college, de directie, de betrokken afdelingen en eventuele extern betrokken organisaties zijn de meest voor de hand liggende adressanten.

De publicatie van de onderzoeksopzet en het toesturen hiervan aan betrokken bestuurders, directeuren e.d. is feitelijk de aankondiging van het onderzoek. Bij uitbesteding van onderzoek wordt in deze aankondiging ook aangegeven welke onderzoekers van welk bureau het onderzoek zullen uitvoeren. Ervaring leert dat tijdige communicatie van het onderzoeksplan bevorderlijk is voor de medewerking gedurende het onderzoek. Sommige rekenkamer(commissie)s maken bij aankondiging van het onderzoek afspraken over een eventuele vaste ambtelijke contactpersoon.

Waarderend Onderzoeken

Waarderend onderzoeken of Appreciative Inquiry (verkort “AI”) is een kwalitatieve onderzoeksmethode die verschilt van traditioneel onderzoeken, doordat zij  meer de focus legt op het  vergroten van krachten, leren van het verleden en ontwikkelen op successen,  dan op wat er niet goed gaat,  het corrigeren van fouten, en het oefenen op zwaktes.

Waarderend onderzoek wordt sinds de jaren tachtig van de vorige eeuw toegepast. De grondslag ligt in de Verenigde Staten bij Dr Cooperrider. Sinds de 21e eeuw is het een wereldwijd toegepaste methodologie. De laatste jaren vindt deze aanpak ook in Europa en Nederland groter vervolg. De Auditdienst van het Rijk (ADR) past het inmiddels toe, De Algemene Rekenkamer (ARK) verkent de mogelijkheden en met name de Gezamenlijke Rekenkamercommissie voor de gemeenten Berkelland, Bronckhorst, Lochem en Montferland (RC BBLM)  past het toe in haar onderzoek naar de effectiviteit van de uitvoering van de WWB  richting WWnV  cq Participatiewet.

De onderzoeksaanpak kent  5 Uitgangspunten. De onderzoeksaanpak kent in oorsprong 4 fasen ( 4D’s) en in Nederlandse toepassingen 5 fasen (5V’s). De onderzoeksaanpak voor Rekenkamer(commissie)s kent 6 fasen (6V’s).
AI kent ook andere vormen en toepassingen  die voor Rekenkamer(commissie)s goed bruikbaar zijn.

Verschil Waarderend Onderzoeken ten opzichte van traditioneel onderzoeken

Waarderend onderzoek heeft een andere focus en onderzoeksaanpak dan het traditionele onderzoek. Traditioneel onderzoek zet een probleem centraal en zoekt manieren om het probleem op te lossen; door te trainen op wat er niet goed gaat, of door het elimineren van een probleem; de zgn’ deficit-oriented approach’ of probleemgerichte benadering.

Uitgangspunten van Waarderend Onderzoeken

Waarderend onderzoek gaat uit van:

  • het sociaal constructionistische principe (er is geen objectieve werkelijkheid);
  • het poetisch principe (alles is voor meer interpretaties vatbaar, wat jij vindt dat is);
  • het simultaniteitsprincipe (een vraag is de eerste stap van verandering’);
  • het anticiperend principe (beelden van de toekomst leiden ons) en het
  • positiviteitsprincipe (positieve emoties zijn nodig voor groei en ontwikkeling).

Waarderend onderzoek gaat uit van het principe ‘leren van het verleden,  ontwikkelen op successen,  krachten en gedeelde waardes’. Het gaat uit van het resultaat, waar willen we naartoe, en van de krachten in de organisatie in plaats van de tekortkomingen. Wat willen we WEL? Dat wil niet zeggen dat het onderzoek en de bevindingen niet kritisch zijn, of niet benoemen wat er niet goed gaat; de focus is echter bewust ontwikkelings- en oplossingsgericht. Daarmee is zij duurzamer,  kent meer doorwerking , dan puur traditioneel onderzoek. Daarmee draagt zij voor Rekenkamer(Commissie)’s  meer bij aan de ondersteuning van de kaderstellende rol van de Raad.

Onderzoeksaanpak

De onderzoeksaanpak kent 5 fases ( de 5 V’s):

  1. Verwoorden: wat is het onderwerp, de vraag- en doelstelling van het beleidsterrein & onderzoek?
  2. Verdiepen: wat is de situatie nu (met aandacht voor wat er wel goed gaat en wat wordt ervaren als de krachten en gedeelde waardes in de organisatie
  3. Verbeelden: waar willen we over 10 jaar staan, wat is het gewenste, gedroomde plaatje?
  4. Vormgeven: welke concrete acties en tussentijdse resultaten zijn er nodig om tot het ideaalplaatje te komen?
  5. Verwezenlijken: een uitvoeringsplan maken en uitvoeren

Deze stappen worden idealiter met het gehele systeem, alle betrokken actoren doorlopen.
De allereerste aanpakken in de USA kende 4 fasen ( 4D’s):

  1. Discover
  2. Dream
  3. Design
  4. Destiny

Onderzoeksaanpak voor Rekenkamer(commissie)s

Voor (lokale) Rekenkamer(Commissie)s is een  tussenvorm van AI , genoemd de ‘waarderende benadering’ direkt  toepasbaar.

Figuur 2: naar: ‘waarderend auditen bij de RAD, katalysator voor verbetering’. L. Zarrou, R. Kalker & M. De Zeeuw, 2010.

Voor de toepassing voor lokale rekenkamers  is het  toepassen van de waarderende benadering kritisch en tevens ontwikkelings- en oplossingsgericht. Daarmee is zij duurzamer,  kent meer doorwerking , dan puur traditioneel onderzoek. Zij voldoet daarmee aan aanbevelingen uit de evaluatie van lokale rekenkamercommissies (rapport Berenschot).

Waarderend Onderzoeken voor lokaal rekenkameronderzoek, is door Drs Lydia Zwier geconcretiseerd  in het model met 6 fasen (6 V’s):

  1. Verwoorden: wat is het onderwerp, de vraag- en doelstelling van het beleidsterrein & onderzoek? Wat zijn huidig geldende normen?
  2. Verdiepen: wat is de situatie nu (met aandacht voor wat er wel goed gaat en wat wordt ervaren als de krachten en gedeelde waardes in de organisatie; dit zijn de bevindingen en feitelijke conclusies)
  3. Verbeelden: waar willen we over 10 jaar staan, wat is het gewenste, gedroomde plaatje ?
  4. Verbinden: de beelden van diverse onderdelen/groepen/beleidsvelden met elkaar in verbinding brengen ten bate van het spreken van 1 taal en het vinden van gedeelde sterke kanten, waarden en momenta.
  5. Vormgeven : welke krachten en waarden kunnen we inzetten om te komen op het gewenste punt?  En wanneer ? (door de rekenkamercommissie te verwoorden in de conclusies en aanbevelingen)
  6. Verwezenlijken: een uitvoeringsplan maken en uitvoeren (deze activiteiten zijn aan het college en de organisatie,  op basis van de door de raad aangenomen aanbevelingen)

Andere toepassingen

Andere toepassingen van AI-methoden, als aanvulling op traditionele  onderzoeken met langere doorlooptijden, bij (lokale) Rekenkamer(commissie)s kunnen o.a. zijn:

  • Best practices (h)erkennen
  • Het  vormen van een normenkader
  • Komen tot (gedragen) onderzoeksonderwerpen
  • Verbetering informatievoorziening (of komen tot een checklist informatievoorziening)  voor Raadsleden

Zie ook

  • Waarderend organiseren
  • Waarderend samenwerken
  • Sociale Innovatie
  • Duurzaamheid
  • Waarderend Auditen
  • Waarderend veranderen

Auteur: Drs Lydia M.D. Zwier-Kentie – november 2012

Referenties:

 

Communicatie en publicatie rekenkamerrapport

De publicatie van een rekenkamerrapport vergt een zorgvuldige voorbereiding. Meestal is het goed te streven naar extra publiciteit, zodat het rapport en de voornaamste bevindingen, conclusies en aanbevelingen daaruit meer bekendheid kunnen krijgen.
Extra publiciteit kan worden verkregen bijvoorbeeld door het geven van interviews, presentaties en het schrijven van artikelen.
De rekenkamer kan ook bijeenkomsten organiseren, waarin de onderzoeksresultaten worden besproken. Voorbeelden hiervan zijn expertmeetings (met externe deskundigen of met ervaringsdeskundigen uit andere gemeenten en maatschappelijke organisaties). Het organiseren van deze bijeenkomsten gaat meestal in overleg met de griffie.

Publicatiedatum rekenkamerrapport

Probeer de publicatiedatum zo te kiezen dat de boodschap op een zo effectief mogelijke manier wordt overgebracht. Dit betekent dat er bewust voor kan worden gekozen om bijvoorbeeld juist voor of na de behandeling van de voorjaarsnota of begroting te publiceren. Een aandachtspunt bij de planning van een publicatiedatum zijn eventuele gemeenteraadsverkiezingen of een vakantieperiode. Een richtlijn zou kunnen zijn gedurende een bepaalde periode (x-aantal weken /maanden) geen rapport te publiceren, vanwege mogelijke politieke gevoeligheden.

Tips

  • Wijs binnen de rekenkamer(commissie) één woordvoerder aan die de media te woord staat.
    • Meestal is dit de directeur of voorzitter van de rekenkamer(commissie).
    • Ook kan bijvoorbeeld het eerst verantwoordelijke (commissie)lid voor een bepaald onderzoek de woordvoerder zijn.
    • Om verwarring te voorkomen is dat bij gemengde rekenkamercommissies bij voorkeur een extern lid. Immers, als een raadslid over het rekenkamerrapport in de media het woord voert is het risico groot dat het rekenkamerstandpunt, een eigen standpunt en het fractiestandpunt niet meer te ontwarren zijn. Dit geldt des te meer wanneer het gaat om oordelen en aanbevelingen.
  • Kondig een week voor de publicatiedatum het verschijnen van het rapport aan bij de raadsleden en collegeleden. Zo worden zij niet verrast wordt door de publicatie.
  • Leg in de week voorafgaand aan de publicatiedatum selectief contact met media. Zo krijgen zij de gelegenheid een artikel (interview) voor te bereiden, dat op de publicatiedatum wordt gepubliceerd. Stuur ze het rapport onder embargo. Schending van het embargo dient gevolgen te hebben voor het betreffende medium.
  • Vraag vooraf de tekst van een artikel ter inzage om eventuele onjuistheden te corrigeren.
  • Gun de plaatselijke krant de primeur.
  • Zorg ervoor dat raadsleden en collegeleden het rapport en (eventueel) het bijbehorende persbericht een dag voor de publicatiedatum (onder embargo) in handen hebben.
  • Stuur op de publicatiedatum een persbericht naar de media en houd eventueel een persconferentie. Hierbij kunnen al dan niet de betrokken bestuurders en ambtenaren aanwezig zijn.
  • Let er op dat de toon in het persbericht dezelfde is als de toon in het rapport. Het inkorten van de tekst van een rapport tot een persbericht gaat onherroepelijk ten koste van de nuance, maar mag niet leiden tot een kritischer of juist positiever toonzetting dan in het rapport.
  • Zorg voor een exclusief interview met het belangrijkste lokale persmedium.
  • Nodig bij ingewikkelde of gevoelige onderwerpen journalisten expliciet uit voor een mondelinge toelichting. Niets is zo vervelend als een faliekant verkeerde kop boven een krantenbericht over een onderzoeksrapport.
  • Plaats het rapport en het persbericht meteen – maar pas nádat college en raad er over kunnen beschikken – op de website van de rekenkamer(commissie).

Enige tijd na de publicatie vindt de presentatie van het rekenkamerrapport aan de raad plaats.