Nel corso del 2024 ARPAT ha attivato un accordo di ricerca con il Dipartimento di Statistica, Informatica, Applicazioni “G. Parenti” dell’Università degli studi di Firenze, finalizzato alla conduzione di indagini di customer satisfaction sulle attività dell’Agenzia.

A fine 2024 il DiSIA Lab, il laboratorio tecnico - informatico del Dipartimento, ha condotto la prima di queste indagini, dedicata ai clienti istituzionali dell’Agenzia. La valutazione della percezione dell’operato di ARPAT da parte del mondo istituzionale è stata effettuata tramite un’indagine in modalità CAWI (Computer Aided Web Interviewing); il questionario, finalizzato a raccogliere informazioni utili al miglioramento dei servizi, è stato rivolto a tutti gli interlocutori istituzionali della Toscana che, in rappresentanza di 160 differenti enti politico-amministrativi, si sono rivolti all'Agenzia nei 24 mesi precedenti la data dell’indagine per le tre attività fondamentali di ARPAT: monitoraggio e controllo ambientale (inclusa attività analitica), supporto tecnico-scientifico e diffusione della conoscenza.

Abbiamo rivolto qualche domanda relativamente a questa prima indagine al professor Bruno Bertaccini, coordinatore e responsabile scientifico dell’accordo di ricerca e curatore del rapporto “Una lettura dell'operato di ARPAT da parte del mondo istituzionale” insieme alla professoressa Silvia Bacci, dello stesso Dipartimento.

In una prossima notizia analizzeremo nel dettaglio i risultati raccolti dall’indagine.

Per indagare la soddisfazione degli interlocutori istituzionali di ARPAT, si è optato per un'indagine censuaria e non per una indagine campionaria. Ci può spiegare il perché di questa scelta? È risultata efficace? Ovvero il campione ottenuto può considerarsi rappresentativo della popolazione indagata?

La popolazione obiettivo di indagine era composta da 451 referenti entrati in contatto con l’Agenzia nei 24 mesi antecedenti l’indagine, e appartenenti a 160 differenti enti istituzionali (tra cui Regione, Province, Comuni oltre a una certa varietà di altri enti quali ASL, consorzi di bonifica, comunità montane, enti parco, università, prefetture ecc.).

I numeri sono molto bassi per suggerire un vero e proprio disegno di campionamento, che comunque avrebbe certamente dovuto dare rappresentatività sia alla distribuzione territoriale degli enti che al ruolo che questi hanno nel contesto di afferenza. Questa differenziazione di ruoli chiaramente determina differenti livelli di complessità organizzativa interna, e questo può condurre più referenti di uno stesso ente ad entrare in contatto con ARPAT per motivazioni diverse.

Di tutti questi aspetti il disegno di campionamento avrebbe dovuto certamente tener conto, con uno schema di stratificazione estremamente complesso e certamente non compatibile con i tempi d’indagine.
Infine aggiungo una questione di opportunità “politica”: l’indagine censuaria offre sulla carta la possibilità di esprimere la propria opinione a tutti i referenti istituzionali, e questo consente all’Agenzia di comprendere se specifiche richieste provenienti da enti e istituzioni particolari possano aver generato motivi di insoddisfazione.

La scelta di procedere per via censuaria, con eventuale stratificazione a posteriori dei rispondenti, si è rivelata comunque efficace. In termini di enti politico-amministrativi rappresentati, il tasso di copertura dell’indagine è stato quasi del 64%, e la distribuzione della tipologia di enti rappresentati in relazione alle macrocategorie individuate (ovvero Comuni o Unioni di Comuni della Toscana; Regione, Province e Città Metropolitana; altri enti) rispecchia quella della popolazione.

Il metodo CAWI (Computer Aided Web Interviewing) utilizzato per l'indagine ha notoriamente vantaggi e svantaggi; tra gli svantaggi, produce auto-selezione dei rispondenti. Cosa è stato messo a punto per mitigare questi rischi?

Indipendentemente dal disegno di campionamento (censuario o campionario), la metodologia di intervista ritenuta più idonea, sia in relazione ai tempi di indagine sia in relazione ai costi che la stessa avrebbe generato, è stata la CAWI.

L’alternativa sarebbe stata la modalità telefonica (CATI), oggi peraltro fortemente in disuso, che avrebbe comportato un costo medio d’intervista nettamente più alto e con un risultato atteso in termini di partecipazione non troppo distante da quello effettivamente realizzato.

Per incentivare la partecipazione all’indagine e mitigare il problema dell’auto-selezione si è provveduto all’invio di ripetuti solleciti, a congrua distanza temporale l’uno dall’altro.

In ogni caso, è pur vero che la tecnica CAWI rischia di produrre auto-selezione, nel senso che, come affermato chiaramente in letteratura, tende a partecipare all’indagine chi “ha qualcosa da dire” e, generalmente, più in negativo che in positivo. Sotto questo punto di vista si può quindi solo immaginare che i giudizi medi ottenuti a fronte dei servizi che l’Agenzia ha erogato siano in qualche misura “sottostimati”. Ma tali giudizi sono già di per sé da considerarsi molto buoni. Lascio le conclusioni al lettore.

Nel riportare i risultati dell'indagine è stato inserito un grafico a bersaglio che offre un'immediata lettura delle valutazioni medie ottenute in relazione ai diversi aspetti indagati. Che tipo di informazioni emergono dalla lettura del grafico?

Il grafico a bersaglio è stato realizzato per una immediata lettura delle valutazioni medie ottenute in relazione a ciascuno degli aspetti monitorati rispettivamente in relazione alle attività di Supporto Tecnico e Scientifico, di Monitoraggio e Controllo e di Diffusione della Conoscenza. Guardando il grafico, attraverso un unico colpo d’occhio è possibile avere un quadro di riepilogo dell’indagine e una percezione chiara del livello qualitativo dei servizi offerti dall’Agenzia.

In altre parole, se immaginassimo per un momento l’Agenzia come un giocatore di freccette, potremmo affermare che ARPAT è un giocatore molto abile. Certo, l’abilità può essere sempre migliorata, ma l’Agenzia non potrà mai sperare di posizionare le freccette a sua disposizione esattamente al centro del bersaglio perché, per indagini di customer come questa, è assolutamente irrealistico immaginare di poter ottenere giudizi medi coincidenti con il massimo della scala di valutazione.

Nel questionario sottoposto è stato chiesto ai clienti di esprimere la soddisfazione circa il servizio ricevuto e l’importanza attribuita a ciascun aspetto del servizio stesso. Leggendo i risultati ottenuti, che cosa si può ricavare circa gli scostamenti tra la prima, ovvero il servizio percepito, e la seconda, cioè il servizio atteso?

Prima di rispondere faccio una doverosa premessa. Il giudizio complessivo di valutazione dell’operato di ARPAT risulta lusinghiero: la media dei valori attribuiti è pari a 8,29 con una deviazione di 1,54. Nonostante questi valori siano calcolati su un campione di referenti istituzionali (ovvero su coloro che hanno deciso di partecipare all’indagine), le metodologie statistiche ci mettono comunque nella condizione di fare una previsione di quello che sarebbe stato il “vero” livello medio di soddisfazione riferibile a tutta la popolazione obiettivo (quindi nell’ipotesi in cui tutti i referenti avessero risposto agli inviti di compilazione). Considerazioni inferenziali ci portano quindi ad affermare che, con probabilità pari al 95%, il livello medio di soddisfazione per l’operato di ARPAT espresso dall’intera popolazione dei referenti istituzionali appartiene all’intervallo 8,21 - 8,37.

Anche quasi tutti i singoli aspetti monitorati evidenziano livelli medi di soddisfazione molto positivi, in linea con il giudizio complessivo. Vale però la pena osservare che, eccetto sporadiche situazioni, il livello medio di importanza attribuita agli aspetti è generalmente maggiore della soddisfazione media espressa per gli stessi. In altre parole, l'Agenzia non è ancora in grado di soddisfare completamente le aspettative di uno dei suoi principali pubblici di riferimento.

Ricordiamoci però che la metodologia d’indagine (CAWI) induce auto-selezione, ovvero tende a partecipare all’indagine chi “ha qualcosa da dire” (generalmente, più in negativo che in positivo). Questo può comportare una “leggera” sottostima dei giudizi medi ottenuti e una leggera sovrastima dell’importanza attribuita agli stessi.