Search

Il contributo propone una riflessione sul tema della valutazione partecipata, a partire da un’esperienza realizzata in ambito socio-educativo. La valutazione partecipata tiene conto da una parte delle competenze professionali dell’esperto valutatore, e dall’altra delle competenze esperienziali sull’oggetto della valutazione portate da tutti gli stakeholder, intendendo qualsiasi soggetto, sia esso un professionista erogatore del servizio o un semplice cittadino utilizzatore di esso. Il gruppo guida ha prima ricostruito il progetto nelle sue dimensioni materiali (bisogni-risposte), per poi ragionare sui principi che guidano l’iniziativa. Il processo di valutazione partecipata ha permesso di verificare che, cosi come indicato dalla letteratura, tale strumento consente di conseguire risultati a livello personale, di gruppo e di progetto.

La valutazione nel servizio sociale sta diventando sempre più rilevante a causa della contrazione delle risorse e dei profondi cambiamenti in atto nei sistemi di Welfare. Allo stesso tempo si riconosce la complessità della valutazione nel servizio sociale, dovuta sia ai diversi significati che vengono attribuiti al concetto di qualità da parte dei diversi soggetti che hanno interesse agli interventi sia al fatto che la valutazione della qualità è strettamente legata al concetto di identità del servizio sociale, concetto mobile e connesso ai diversi contesti sociali. A fronte di una sempre più ampia diffusione di sistemi di valutazione, la comunità professionale degli assistenti sociali sembra incerta nell’assumere la sfida di indicare i criteri utilizzabili per definire la qualità della pratica del servizio sociale. Per contribuire a questa colmare questa carenza, si presenta un progetto di ricerca intervento sviluppatosi negli anni 2006–2011, volto a sostenere gruppi di assistenti sociali nella costruzione e utilizzo di uno strumento di valutazione. L’articolo presenta sia il metodo usato sia la struttura del questionario. Facendo riferimento all’esperienza di uno di questi gruppi, viene discusso sia l’uso di uno strumento strutturato sia l’individuazione dei criteri individuati per descrivere la qualità del servizio sociale. Evaluating the quality of social work practice is becoming increasingly important for various reasons, among which are changes in the welfare system and the reduction of resources. Meanwhile, it is acknowledged that evaluating the quality of social work is a highly complex task. Different meanings are attributed to the concept of quality and the concept of quality in itself is linked to the notion of social work identity, nature and aims, which is an object in transition. Although performance appraisal systems are spreading, a common understanding about what is ‘good social work practice’ is lacking, also within the professional community. In Italy, social workers seem missing in the arena of investigating and indicating which criteria can be used to evaluate social work practice. To counteract this weakness, a participative research-intervention project was developed from 2006 to 2011, aimed at supporting social workers in evaluating their work. During workshops with practitioners a self-evaluation tool was designed by means of asking social workers for the possible criteria to be used to define ‘good social work practice’. This paper presents the structure and methods adopted throughout such project, focusing on both the self-assessment questionnaire and the emerging notions of quality of social work.

Resumo A partir de 2010, na região de Emília Romanha, foi promovido um plano de ação negociado em nível institucional, seguido pela experimentação de uma abordagem participativa para a avaliação dos serviços educativos para a primeira infância. A experimentação, que envolveu serviços públicos e privados, visa à construção de um sistema regional de regulamentação de qualidade educacional na governança pública. As principais características da abordagem de avaliação são a sua natureza social e a sua função formativa, a criação de uma relação de colaboração entre os serviços dentro do processo de autoavaliação, a possibilidade de uma contextualização parcial de ferramentas e procedimentos e o caráter recursivo do processo. Riassunto Dal 2010 in Regione Emilia Romagna (Italia) è stato promosso, a livello istituzionale, un percorso di elaborazione negoziata e successiva sperimentazione di un approccio partecipato alla valutazione dei servizi educativi per la prima infanzia. La sperimentazione, che ha coinvolto i servizi pubblici e privati, è finalizzata alla costruzione di un sistema regionale di regolazione della qualità educativa a governance pubblica. Caratteristiche fondamentali dell’approccio valutativo sono la sua natura sociale e la sua funzione formativa, la creazione di un rapporto di collaborazione tra i servizi nell’ambito del processo di auto-eterovalutazione, la possibilità di una parziale contestualizzazione di strumenti e procedure e il carattere ricorsivo del processo. Abstract From 2010 in Emilia Romagna Region (Italy) the institutional authority promoted a negotiation process of elaboration and subsequent experimentation of a participative approach to evaluation of educational services for early childhood. The experimentation, that involved public and private services, is aimed at the implementation of a regional system of quality regulation in public governance. Key features of the evaluation approach are its formative function and social characterization, the creation of a collaborative relationship beetween educational services within the process of self-evaluation and external evaluation, the possibility of a partial contextualization of evaluation tools and procedures and the recursive nature of the process.

Il riferimento alla partecipazione mostra una crescente importanza tanto nella ricerca sociale quanto nei processi valutativi. Nella ricerca sociale la distanza tra "osservatore" ed "osservato" č sempre piů esile, e la partecipazione al processo di ricerca cresce cosě come l'uso dei metodi qualitativi. D'altra parte, i politici hanno bisogno di una ampia partecipazione per fronteggiare la riduzione di legittimazione delle istituzioni pubbliche cosě come il crescente ruolo svolto dalle politiche che per essere efficaci hanno bisogno di un consenso attivo da parte della popolazione coinvolta. L'articolo sottolinea i rischi implicati da una mera sovrapposizione tra processi valutativi e di ricerca e sottolinea le ragioni e le modalitŕ attraverso le quali mantenere coordinate, e tuttavia differenziate, le due attivitŕ.

L’interesse per la democrazia deliberativa e la sua applicazione nei processi partecipativi continua a crescere da diversi decenni ormai. D’altra parte la valutazione empirica dei processi partecipativi, in particolare declinati secondo la teoria deliberativa, ha faticato a tenere il passo con questi sviluppi (Burton 2009). Eppure una valutazione è utile e necessaria: l’applicazione della teoria nella prassi sociale deve dimostrare il proprio ‘valore aggiunto’ rispetto ad altre modalità di decisione e di coinvolgimento nelle arene pubbliche se vuole andare oltre la ristretta sfera dei ‘true believers’. La teoria della democrazia deliberativa è basata su ambiziosi assunti prescrittivi; tali postulati necessitano peraltro di un’azione sistematica di valutazione in grado di verificare empiricamente la qualità dei processi che ad essi fanno riferimento. L’affermarsi di innovazioni - più o meno istituzionalizzate - naturalmente è affidato ai processi storici; ma una valutazione attenta e circostanziata offre un contributo importante alla riflessione circa l’utilità sociale di un’innovazione come quella prospettata dalla teoria e dalla prassi deliberativa. L’intento di questo capitolo è di proporre un framework, uno schema di valutazione dei processi partecipativi di stampo deliberativo (p/d), che mira a trovare un punto di equilibrio, al contempo efficace ed efficiente, tra due divergenti esigenze: la capacità di offrire un quadro di elementi valutativi sufficientemente esaustivo, senza essere eccessivamente esigente in termini di risorse richieste. Dopo un’analisi dello ‘stato dell’arte’ delle riflessioni sulla valutazione dei processi p/d disponibili nella non abbondante letteratura sul tema, il presente contributo propone dunque un framework illustrandolo tramite l’applicazione ai casi considerati in questo volume, per concludere infine con alcune indicazioni in merito all’impiego ‘sul campo’ dello schema. La valutazione in questo contesto consiste in un’attività conoscitiva, empiricamente fondata, che si pone il compito di produrre giudizi in merito ai risultati di un processo partecipativo/deliberativo. A supplemento di questa definizione di valutazione, occorre precisare tre ordini di questioni relative specificamente al framework qui proposto. La prima questione riguarda l’evaluando, ovvero che cosa viene valutato; oggetto della valutazione possono infatti essere o i singoli eventi partecipativi o piuttosto i percorsi; qui vengono considerati i processi deliberativi nel loro insieme. In secondo luogo, più che a fornire meramente un giudizio ‘riepilogativo’ (summative evaluation, cfr. Lippi 2007, p. 78), il framework viene proposto in una prospettiva di formative evaluation, secondo cui la valutazione è finalizzata a innescare processi di apprendimento sociale e organizzativo inducendo quindi progressivi aggiustamenti che consentano di migliorare le pratiche partecipative (Vecchi, 2001 pp. 232 e 288). Connessa al punto precedente è una terza questione, che riguarda il momento in cui viene effettuata la valutazione rispetto al processo partecipativo, ovvero il quando valutare. La valutazione è in genere associata a un’attività ex post, ma vi è anche un’attività di valutazione in itinere orientata alla correzione ‘in corso d’opera’ (il che presuppone interesse a monitorarne lo svolgimento da parte di chi gestisce il processo), come pure una valutazione ex ante finalizzata alla progettazione di processi partecipativi/deliberativi prima che abbiano inizio (Frewer et al. 2001, 14). Le considerazioni qui esposte riguardano prevalentemente la valutazione ex post , ma in parte possono essere adattate anche a quella in itinere, mentre si prestano solo parzialmente alla valutazione ex ante.

Bari è una delle otto “città - pilota” del progetto MUSA (Mobilità Urbana Sostenibile e Attrattori culturali) in cui viene sperimentata una procedura partecipata d i valutazione (PPV) delle strategie e politiche per la mobilità urbana sostenibile. Nel caso di Bari l’applicazione di una PPV è simulata con riferimento a un intervento specifico: la riorganizzazione della circolazione e della sosta nel centrale quartiere Murat. La PPV utilizzata prevede l'uso di tre strumenti: un “dialogo strutturato” con gli stakeholder, basato su una multicriteria semplificata; un'indagine demoscopica per raccogliere le valutazioni dei cittadini; una “consulta dei cittadini”, che ha il compito di modificare, integrare e validare l’esito finale della PPV. La PPV è basata su uno schema di valutazione con quattro obiettivi: 1. Protezione e valorizzazione dei beni culturali; 2. Miglioramento della vivibilità; 3. Sviluppo delle attività comme rciali e turistiche; 4. Miglioramento dell’accessibilità. Tali obiettivi sono stati utilizzati per valutare quattro alternative d’intervento nel quartiere Murat: A. Pedonalizzazione totale; B. Pedonalizzazione con zone interne a traffico limitato; C. Zona a traffico limitato con isole pedonali; D. Zona a traffico moderato con isole pedonali. L'applicazione della PPV nel caso barese ha avuto un buon esito: sia per il livello e la qualità della partecipazione di stakeholder e cittadini, sia per la preferenza espressa in modo condiviso per l'opzione C (ztl + isole pedonali). L'indicazione emersa alla fine della PPV di un'ulteriore opzione “ibrida” (la C con corridoi di attraversamento del quartiere aperti a tutti) spinge a suggerire che in futuro la PPV sia int egrata da una fase preliminare di progettazione che consenta di generare in modo partecipato le alternative d'intervento da sottoporre a valutazione.

Questo saggio illustra un percorso di ricerca valutativa, richiesto dall'Acquario di Genova e sviluppato dal Dipartimento di Scienze Antropologiche, finalizzato alla costruzione di un indice di efficacia educativa della visita, che consentisse al management aziendale di avere un'indicazione sintetica e di individuare piů facilmente i punti di forza e di debolezza del percorso dal punto di vista educativo. A questo scopo, dopo una preliminare ricognizione della bibliografia di riferimento, il primo passo č consistito nella chiarificazione concettuale dell'evaluando, ricercata attraverso focus group e interviste in cui i dirigenti e gli operatori della struttura sono stati invitati a definire in maniera piů puntuale gli obiettivi educativi della visita. Trovato un accordo dei partecipanti su questo punto focale della ricerca, a partire dagli indicatori cosě individuati sono stati costruiti dei questionari somministrati ai visitatori sia prima della visita, per assicurarsi che gli obiettivi individuati dal management aziendale collimassero con le aspettative dei visitatori, sia dopo la visita, per valutarne l'efficacia. In fase conclusiva il personale della struttura č stato coinvolto nel processo di ponderazione degli indicatori di efficacia educativa precedentemente individuati, consentendo di rivalutare i punteggi ottenuti sui diversi indicatori con la somministrazione dei questionari e di calcolare cosě un indice di efficacia educativa, su una scala 0- 100, che rispettasse le prioritŕ relative degli obiettivi educativi come definiti da manager e esperti dell'Acquario. Il pregio dell'indice, cosě calcolato, č che esso rispecchia le prioritŕ assegnate ai diversi obiettivi educativi dal management aziendale e su queste basi restituisce un feed-back sintetico sull'efficacia educativa della visita. Il suo limite intrinseco consiste nella non necessaria coincidenza tra le prioritŕ assegnate agli obiettivi da dirigenti e operatori, da un lato, e la prioritŕ relativa delle aspettative degli utenti, dall'altro, e questo rappresenta un importante elemento di incertezza per la definizione di strategie aziendali appropriate.

Il progetto di Valutazione Partecipata dei Centri Diurni per la Salute Mentale nel Comune di Roma, realizzato dell'Istituto di Scienze e Tecnologie della Cognizione del CNR, nasce nel 2004 su incarico del Dipartimento alle Politiche Sociali del Comune di Roma per rispondere alla richiesta di responsabili e operatori dei servizi, che soffrivano una condizione di isolamento rispetto al contesto istituzionale e territoriale. La realizzazione di un intervento di valutazione partecipata rappresentava una risposta adeguata alle diverse esigenze (dell'Ente Locale, dei servizi e dei ricercatori) perché in grado promuovere la cultura della valutazione e stimolare processi di cambiamento e di empowerment degli attori coinvolti (Castelfranchi, 1985). Obiettivo del contributo è analizzare il progetto di valutazione, risultato della dialettica tra gli stakeholders: alcune iniziative infatti sono state proposte fin dall'inizio dai ricercatori, mentre altre sono state co-costruite in risposta alle istanze dei diversi stakeholders (Rossi 1999). Il progetto si è sviluppato nell'arco di 5 anni, realizzando attività che riguardo a: la qualità dei servizi, l'organizzazione, le rappresentazioni, la progettazione delle attività, la formazione, la comunicazione e condivisione dei risultati. Sono stati coinvolti 26 Centri con la partecipazione di numerosi stakeholders: 40 responsabili sanitari e del privato sociale, 95 operatori, 80 utenti, 60 familiari, consulte per la salute mentale, esperti e decisori. Sono stati utilizzati diversi strumenti quali-quantitativi: focus group, gruppi di lavoro, interviste, questionari. Il contributo prenderà in considerazione alcuni risultati raggiunti con lo sviluppo del progetto, focalizzandosi sull'analisi delle ricadute e dei cambiamenti attivati. Rispetto a questi ultimi è stato nodale il processo di definizione del ruolo e della mission dell'Ente Locale (finanziatore delle attività dei Centri e committente della ricerca), traducendosi in spinta propulsiva per il cambiamento dei Centri stessi.

Il contributo intende proporre un modello di valutazione degli apprendimenti quale vero e proprio processo partecipato, in grado di sviluppare metodi valutativi e auto-valutativi appropriati, in quanto frutto dello stesso contesto interattivo che produce l’evento formativo. Gli autori sviluppano una riflessione critica su una sperimentazione condotta nell’ambito dell’insegnamento di Metodologia e tecniche della ricerca sociale II, riguardante la realizzazione di una valutazione partecipata e condivisa dagli studenti del "rendimento all’esame", articolata in modo da poter costruire indicatori adeguati. In una prospettiva valutativa, sono affrontati alcuni dei principali problemi relativi al processo di costruzione e validazione di indicatori condivisi. Inoltre, all’intento teorico e pratico di costruire indicatori adeguati attraverso un processo partecipativo, si affianca anche il proposito di realizzare un percorso di apprendimento "on the job", mediante l’impegno attivo degli studenti nella valutazione e nella costruzione della conoscenza, attraverso metodi di self-, peer- e collaborative-assessment.

L'Istituto di Scienze e Tecnologie della Cognizione del CNR ha condotto una ricerca - intervento di "Valutazione dei Centri diurni di Salute mentale del Comune di Roma" finanziata dal V Dipartimento alle Politiche Sociali e della Salute del Comune di Roma. La ricerca valutativa, che utilizza un approccio partecipato, ha coinvolto i diversi attori dei Centri diurni di Salute mentale: utenti, operatori, familiari e responsabili ASL e del privato sociale. Questo contributo si focalizza sull'emergere di significative e comprensibili resistenze da parte dei diversi attori nel corso della ricerca, che è anche una delle finalità di un approccio partecipato. Attraverso il materiale raccolto è possibile evidenziare che gli stakeholder manifestano vari tipi di resistenze nei confronti della valutazione come ad esempio: tendenza a enfatizzare il passato, negazione di criticità da loro stessi espresse, ostilità nei confronti di proposte e strumenti offerti, mancata o imprecisa compilazione di item. Tali resistenze sembrano essere tese a tutelare l'immagine dei partecipanti e dei loro centri, e a mantenere invariato lo status quo dei servizi a fronte della percezione di precarietà e di una minaccia di cambiamento in negativo a seguito dei risultati della ricerca (ad esempio chiusura dei servizi o riduzione dei fondi). È da sottolineare che tra le diverse ragioni che stanno alla base delle resistenze emerse appare cruciale il ruolo del Comune di Roma, in quanto sia committente della valutazione che finanziatore delle attività svolte dai Centri diurni. Il contributo prenderà in considerazione alcuni percorsi della ricerca, che con obiettivi e metodologie diversi, hanno coinvolto attori con ruoli, cultura e poteri differenti. Parti di trascrizione di focus group e gruppi di discussione verranno utilizzati per documentare le resistenze emerse e per mostrare con quali strategie sono state affrontate.

L'analisi dei rapporti tra attività di valutazione e riorganizzazione del settore dei servizi per l'infanzia mette in luce in modo particolarmente chiaro il possibile ruolo della valutazione nei processi di modernizzazione della Pubblica Amministrazione. La necessità degli enti locali sia di assicurare la qualità dei servizi gestiti in forma diretta o indiretta sia di costruire una rete integrata tra tutti questi servizi sul territorio, fa sì che le attività di valutazione risultino essere uno strumento fondamentale della governance dei servizi per l'infanzia da parte dell'ente locale. Su committenza del Comune di Roma abbiamo progettato e realizzato un sistema di valutazione dei servizi per l'infanzia convenzionati. Nel sistema partecipano alla valutazione più attori con ruoli diversi e in contesti partecipativi diversi e secondo procedure che assicurano un'analisi articolata del servizio e la formulazione di giudizi argomentati in un confronto intersoggettivo. L'analisi di questa esperienza dimostra che le istanze dell'accreditamento di eccellenza e quelle dell'accreditamento istituzionale coincidono intrinsecamente nel corso di un'attività di valutazione di servizi per l'infanzia all'interno di un sistema integrato. Emerge, inoltre, l'importanza di attivare percorsi di valutazione partecipata per promuovere una cultura condivisa attorno alla qualità dei servizi dell'infanzia e reti di progettazione del loro sviluppo.