La valutazione dei sistemi formativi ha come obiettivo l'osservazione, l'analisi, l'interpretazione e la formulazione di un giudizio delle caratteristiche salienti del processo di formazione. Tale processo interessa sia gli utenti fruitori del servizio che l’ente erogatore della formazione. Tale valutazione riguarda diversi ambiti e livelli. L'approccio più utilizzato consiste nel valutare l’azione formativa da tre punti di vista: soddisfazione dell'utente, impatto sulla realtà lavorativa e apprendimento degli utenti Per ulteriori approfondimenti su questi aspetti della valutazione, è possibile consultare il seguente testo http://elearning-let.unicas.it/lsrf_old/arduini/valut/progr_valutare_parte_III.pdf.
Significato del termine valutazione Valutare significa confrontare una situazione osservata e una situazione attesaCalonghi L. (1976), Valutazione delle composizioni scritte, Roma, Armando.. Il confronto non è tuttavia una semplice constatazione di differenze o concordanze, bensì prevede un’interpretazione che è possibile soltanto se il valutatore ha predisposto un quadro teorico che si basa sulle sue esperienze e sul suo retroterra culturaleGrandi G. (1977), Misurazione e valutazione, Firenze, La Nuova Italia..
Si utilizzerà l’interpretazione per stabilire gli esiti del confronto (in cosa concorda e in cosa differisce la situazione osservata da quella attesa), ma anche per ricostruire i percorsi e i processi che hanno portato a quegli esiti.
Quando l’interpretazione è sicura, si deve passare alla valutazione, cioè all’attribuzione di valoreDomenici G. (2003), Manuale della valutazione scolastica, Roma-Bari, Laterza. agli oggetti che il valutatore ha posto come obiettivi o scopi della formazione. Si possono annoverare tra questi obiettivi le conoscenze, abilità, competenze, ma anche aspetti relazionali/affettivi come comportamenti, atteggiamenti, opinioni ecc.
Il metodo valutativo Il valutatore si deve dotare di un sistema di discriminazione tra gli elementi ritenuti validi e desiderati da quelli che non lo sono e si deve concretizzare con un sistema di riferimentoMonasta A. (a cura di) (1997), Mestiere progettista di formazione, Roma, Carocci. che costituisca un modello stabilito a priori. In esso devono essere contemplati tutti gli elementi utili per la successiva valutazione: la situazione attesa e i criteri di giudizio. Il passo successivo alla valutazione è la messa in atto di opportune decisioni che devono avere come obiettivo la riduzione delle differenze tra la situazione osservata e quella attesa. Si può riassumere, quindi, il processo valutativo in due passi: il primo è costituito dalla rilevazione dei dati empirici (fatti osservabili e misurabili), che permette di ricavare informazioni secondo il metodo scientifico, il secondo è la valutazione, che dovrà assegnare valore e significato al raggiungimento o meno degli obiettivi previsti. In questo secondo passo si adottano le decisioni pratiche per ridurre eventuali discrepanze tra ciò che si attende e ciò che si osserva, sia a livello di allievo che a livello dell’intero corso di apprendimento / formazione.
La scientificità del metodo di rilevazione e valutazione adottato deve essere riconosciuto da un'intera comunità e deve diventare un punto di riferimento. Quindi, occorre esplicitare i Móði e gli strumenti utilizzati. Ciò significa che ogni operazione effettuata e la scala metrica utilizzata per attribuire un dato valore ad un singolo evento devono avere visibilità completa, in modo che l’operazione di valutazione possa essere replicata nelle stesse condizioni e debba dare lo stesso valore come risultato. Questa esigenza è fondamentale per due motivi: il primo è che lo stesso valutatore è in grado di dare significato al suo lavoro, il secondo è impedire confusione e disorientamento nell’interpretare e valutare eventi.
Un docente, quando attribuisce un voto ad un compito scritto, deve avere in mente un insieme di valori entro il quale possono oscillare le competenze sotto osservazione.
Questo insieme di valori non può rimanere nella testa del docente, ma deve essere esplicitato, organizzato in una scala di misura in modo tale che chiunque, altri docenti o studenti, siano informati e possano comprendere il significato della valutazione attribuita ad una certa conoscenza, abilità o competenza.
Se il docente ha sollecitato in un compito scritto una o più conoscenze, abilità e competenze relativi a uno o più ambiti significa che ha già attribuito un valore ad essi. Questo significa che la valutazione successiva altro non è che la manifestazione esterna, oggettiva del valore che già si era attribuito agli eventi e alle sue particolarità proposte nel compito. Questo è il motivo da cui deriva la necessità dell’adozione dello strumento di misura da impiegare: esso estrinseca i valori che attribuiamo soggettivamente ad eventi, argomenti ecc. presenti nei compiti.
Il passaggio logico da esplicitare in maniera che tutti possano leggere una valutazione allo stesso modo è che il valore, l’importanza che il docente attribuisce ad una certa conoscenza, ad un apprendimento generale o ad una competenza può variare da valori molto bassi a valori molto alti.
Questa oscillazione all’interno di una gamma di valori può estendersi a seconda dei contesti e degli scopi che si intendono realizzare. Addirittura si può verificare che ciò che ha valore in un certo contesto e in relazione al raggiungimento di scopi particolari potrebbe non averne in altri contesti o per la realizzazione di altri scopi. Al limite quel valore potrebbe rappresentare un anti-valore, un difetto, un pericolo. Queste ultime riflessioni confermano ulteriormente la necessità di rendere esplicito uno strumento per discriminare la qualità degli eventi sottoposti a valutazione: questo strumento varia a seconda dei contesti e per gli scopi prefissati.
In ogni processo di valutazione occorre innanzitutto rendere espliciti gli obiettivi da raggiungere e successivamente determinare le scale, procedure e strumenti che costituiscono una sorta di accordo convenzionale che è alla base di una corretta interpretazione dei fattori che porteranno a definire la qualità di un evento.
La progettazione di un piano di valutazione La valutazione effettua un confronto tra una situazione osservata e una situazione attesa. Dal confronto deve scaturire un’interpretazione che stabilirà se le situazioni iniziale e finale differiscono, in quali aspetti e dovrà ricostruire l’insieme dei processi che hanno determinato tali differenze. Oltre a ciò occorrerà attribuire un valore agli oggetti della valutazione, che si realizzerà all’interno di un sistema di riferimento definito a priori. Tale sistema conterrà i criteri per operare la valutazione che sarà anche la base per eventuali decisioni operative atte a sanare differenze tra situazione osservata e attesa.
Operativamente sono presenti due momenti: la rilevazione e la valutazione. Il primo raccoglie i dati riguardanti i vari aspetti del processo formativo, secondo la metodologia scientifica, il secondo assegna valore e significato al conseguimento o meno degli obiettivi progettati. Questo secondo momento stabilirà le decisioni operative riguardanti sia lo studente sia lo stesso intervento formativo. La valutazione di ogni intervento formativo può essere suddivisa in quattro livelli: gradimento, apprendimento, comportamento (applicazione al lavoro) e cambiamento organizzativo (impatto sull’organizzazione). Queste due ultime tipologie di valutazione vengono racchiuse, da alcuni autori, nell’unica valutazione denominata d’impatto. Questa suddivisione è dovuta a KirkpatrickKirkpatrick D.L. (1994), Evaluating training programs. The four levels, San Francisco (CA), Berrett-Koehler..
Valutazione di gradimento Il primo livello, gradimentoAAVV (2004) Programmare e valutare la formazione una guida per le amministrazioni pubbliche, Milano, Editore Lattanzio e Associati, consiste nel prendere in considerazione le reazioni degli utenti dell’intervento formativo, i quali sono interpellati tramite questionari o interviste semistrutturate.
Il customer satisfaction è il metodo più utilizzato per due motivi: è standardizzabile e richiede solo un investimento iniziale per la sua progettazione e implementazione, ma, successivamente, l’investimento è molto ridotto, se occorre una sua replicazione; il feedback informativo deriva da contributi di diverse tipologie di soggetti, e forma un quadro ampio della percezione del gradimento dell’intervento formativo.
L’importanza della valutazione del gradimento risiede nella sua caratteristica di essere una condizione necessaria, non sufficiente, per ottenere apprendimento ed impatto positivo sugli utenti e sull’organizzazione della formazione.
Le modalità si basano sull’identificazione degli aspetti qualitativi e organizzativi più importanti della formazione: agli utenti si somministra normalmente un questionario strutturato, chiedendo loro di esprimere un giudizio in termini di livello di gradimento della formazione.
Incrociando i giudizi si individuano le criticità delle attività di formazione e si valuta con immediatezza la percezione dell’intervento da parte dei partecipanti.
Per l’esecuzione dell’indagine di gradimento servono delle particolari competenze dei valutatori: tecniche di indagine sociale: occorre progettare e realizzare il questionario di rilevazione. Quindi è importante chiarire quali sono i fattori della qualità da sottoporre a valutazione e strutturare correttamente il questionario; statistiche: deve permettere l’elaborazione di dati tramite analisi strutturate che mettano in evidenza la veridicità e la qualità dei dati rilevati. Le competenze statistiche sono necessarie se l’indagine di gradimento è condotta secondo un campione d’interviste piuttosto che relativamente a tutto l’universo di riferimento. informatiche: l’uso di programmi software che aiutino l’elaborazione dei dati; ad esempio un comune foglio elettronico (Excel, Calc, ecc.), oppure, software statistici (es. SPSS = Statistical Package for Social Sciences, SAS = linguaggio di programmazione statistica).
L’ultimo atto consiste nella redazione del rapporto di valutazione del gradimento. I risultati sono organizzati in un rapporto che deve essere concepito a misura dei destinatari ed essere il più possibile comprensibile. Il destinatario del rapporto deve ritrovare in esso le informazioni che possano orientare lo svolgimento e per un eventuale replica del corso di formazione. Ad esempio, il preside di una scuola o un funzionario del Ministero dell’istruzione saranno interessati a conoscere i livelli di gradimento espressi nei riguardi dei principali aspetti di una azione formativa erogata e soprattutto verso i fattori di criticità riscontrati.
Da ricordare in ogni caso che la valutazione di gradimento è una delle componenti valutative della formazione e pertanto va sempre associata alle valutazioni di apprendimento e d’impatto.
Valutazione d’impatto È la parte più complessa della valutazione ed anche la componente valutativa che fornisce una conoscenza più esauriente ed approfondita dei processi formativi messi in atto. Le informazioni ricavate sono basilari se occorre riproporre i corsi di formazione in futuro e per migliorare le sue prestazioni e dell’organizzazione che lo propone. Si valuterà tutto ciò che va oltre le reazioni soggettive degli utenti che usufruiscono della formazione e dell’apprendimento che essi acquisiscono. Si considererà, invece, la sfera organizzativa e delle performance.
Una prima ed importante considerazione è quella della cosiddetta dimensione diacronica di questa valutazione. Si deve intendere che gli impatti generati da un percorso formativo possono produrre effetti in tempi più o meno lunghi.