Giorgio Israel su #Invalsi : una posizione equilibrata non scampa alle critiche dei talebani dei test standard

Come troppo spesso succede argomenti seri diventano da noi (non solo da noi) oggetto di schermaglie fra opposte tifoserie che radicalizzano le proprie posizioni, diventando sorde ad ogni argomento razionale e con accuse reciproche di “oscurantismo” o “neo liberismo”.

Che molti operatori della scuola, e particolarmente in sindacati, si siano distinti negli anni passati per battaglie “ideologiche” contro ogni innovazione è tristemente vero, ma la “controparte” non sembra essere nella posizione di “dare lezioni” a chicchessia, viste le reazioni scomposte che ogni minima critica, pacata e “fattuale”, al sistema di test standard, suscita fra i suoi sostenitori.

Particolarmente discutibile è questo entusiasmo “messianico” per i test standard da noi in Italia, paese che non ha adottato questi strumenti negli anni precedenti, quando si diffondevano in altre culture, e li abbraccia oggi in modo “acritico” proprio nel momento in cui cominciano ad essere sottolineati i problemi e le distorsioni che tali sistemi hanno generato e stanno generando laddove sono in vigore, ed in maniera massiccia, da anni.

images

I TEST A SCUOLA CHE UCCIDONO LA GIOIA DI APPRENDERE

È primavera e a scuola sbocciano i test Invalsi. Con essi torna il monito a non muovere critiche che non siano costruttive. Pur attenendosi al precetto si constata, anche quest’anno, una miscela di test ragionevoli e di altri che suscitano dubbi circa le competenze di chi l’ha pensati. La via del miglioramento è lunga, soprattutto se le critiche saranno ancora ignorate. Ma resta aperta la domanda: per andare dove? Cosa può dare l’analisi dello stato dell’istruzione mediante test, pur al massimo delle sue possibilità?

La domanda è resa impellente dal torrente polemico che si rovescia sul più famoso sistema internazionale di valutazione mediante test, OCSE-Pisa, noto in Italia per averci sempre posto al fondo delle classifiche. Nelle ultime rilevazioni aveva suscitato stupore la schiacciante superiorità della Cina, poi spiegata dal fatto che ai test avevano partecipato le migliori scuole del distretto di Shangai. Aveva destato sorpresa l’inatteso crollo della Finlandia, da sempre ai primi posti. Qualche anno fa avevamo indicato che, per ammissione di autorevoli personalità di quel paese, l’insegnamento della matematica era stato stravolto in funzione del successo nei test OCSE-Pisa, il che lasciava prevedere che fluttuazioni nelle modalità dei test avrebbero potuto cambiare i risultati. Ora si viene a sapere qualcosa di molto più grave: solo il 10% degli studenti dei vari paesi sostiene effettivamente i test di lettura Pisa, mentre gli altri entrano nelle statistiche simulando le risposte mancanti con numeri casuali… Ne è nata una polemica furiosa in cui la difesa ha opposto che questa è una prassi usuale in statistica, mentre uno statistico di fama come David Spiegelhalter ha sostenuto che i metodi usati sono sbagliati e che «ricavare lezioni da Pisa è difficile quanto prevedere chi vincerà una partita di calcio».

Ora, una lettera firmata da un stuolo di autorevoli personalità a livello internazionale (pubblicata sul Guardian col titolo “I test OCSE-Pisa stanno danneggiando l’educazione in tutto il mondo”) contesta il metodo dei test al di là delle questioni tecniche. Difatti, gli articoli di critica tecnica pullulano, ma gli enti di valutazione fanno orecchie da mercante. Per esempio, il nostro Invalsi considera come Verbo un modello matematico largamente criticato e di cui recenti ricerche indicano l’inapplicabilità proprio ai test usati nel 2009 per le scuole medie. L’appello internazionale considera inammissibile alla radice l’idea di costruire un intero sistema di valutazione sui test e mette in luce i guasti che sta producendo questa prassi.

La lettera critica la credenza feticistica nei numeri che fa trascurare qualità fondamentali, come quelle morali, civiche o artistiche (e aggiungiamo noi, anche le competenze scientifiche e letterarie, che non sono riducibili a numeri). Denuncia lo spostamento d’attenzione sul breve termine, mentre solidi miglioramenti nella qualità dell’istruzione e dell’insegnamento richiedono decenni. Denuncia una visione angustamente economicista che cancella il fatto che l’istruzione non forma solo forza-lavoro ma soggetti capaci di partecipare a una società democratica, all’azione morale e a una vita di crescita personale; per cui, per molti versi, inclusa la disastrosa tendenza a bandire la conoscenza dall’istruzione, compromette il futuro della democrazia. Questa tendenza tecnocratica è manifestata dal fatto che l’istruzione sta diventando terreno riservato a economisti, statistici e psicometrici, escludendo soggetti che non hanno minori diritti a “sedersi al tavolo”: insegnanti, educatori, studiosi disciplinari di ogni sorta, famiglie, studenti, amministratori. Infine, il ciclo continuo di testing produce un clima nevrotico nelle scuole e, sostituendo l’insegnamento con l’addestramento, «uccide la gioia di apprendere». Tra le molte altre osservazioni ne ricordiamo una fondamentale: «misurare grandi diversità di tradizioni educative con un criterio unico, ristretto e parziale, può danneggiare irreparabilmente i nostri studenti e le nostre scuole».

Siamo di fronte a un documento che ha un valore cruciale, particolarmente importante per un paese come l’Italia che sta costruendo il suo sistema di valutazione. E va respinto il solito ammonimento, che già si sente avanzare: chi critica non vuole la valutazione. Anche il ministro Giannini, nel corso di recenti dichiarazioni, su altri aspetti condivisibili, ha ricondotto le critiche alla tendenza a dire: “bene la valutazione, ma non nel mio cortile”. Che vi sia chi ragiona così è indubbio. Ma riprovarlo non implica chiudere la bocca a chi non difende cortili, vuole la valutazione, propone altri modelli – per esempio, basati su metodi ispettivi – ma non accetta qualsiasi cosa a scatola chiusa, tantomeno il feticcio dei test, ancor meno se si prospetta di usare i test Invalsi anche per valutare gli insegnanti.

Nelle sue dichiarazioni, il ministro ha osservato che, come un buon medico si valuta se i suoi malati guariscono o restano in buona salute, così l’insegnante si valuta dal risultato del processo di apprendimento. Ma già qui non ci siamo. Perché quel che fa la differenza è l’oggetto: altrimenti, i peggiori medici sarebbero gli oncologi e i migliori quelli che curano i raffreddori. Inoltre, i concetti di salute e malattie sono tutt’altro che univoci. Un medico molto meccanicista può ritenere che lo stato di salute corrisponda al rigoroso rientro in certi parametri, mentre un altro può ritenere che talora la “guarigione” consista nell’assestarsi su stati “anomali” ma corrispondenti a una nuova norma avente caratteristiche di stabilità. Ciò è materia di dibattito scientifico e valutare un medico è cosa molto più complessa che non fare test sull’evoluzione dello stato dei suoi pazienti. Lo stesso dicasi per gli insegnanti: la bravura di un insegnante può essere offuscata da un contesto difficile mentre può rifulgere la mediocre qualità di un insegnante che opera in un contesto facile. Né la qualità degli apprendimenti è riflessa, se non a livelli minimali, dalle prestazioni nei test. Del resto, se il ministro ha accolto l’idea di sostituire i test d’ingresso a medicina con un modello di tipo francese, in cui la selezione viene fatta con esami di merito dopo un anno, non può ritenere che i testi possano servire a valutare il sistema dell’istruzione, gli studenti e addirittura gli insegnanti. Qualche forma di testing elementare può servire, purché a dosi omeopatiche, impedendo qualsiasi sostituzione dell’insegnamento ordinario con l’addestramento ai test, e combattendo l’affarismo sui manuali di addestramento. Ma ridurre la complessità della problematica dell’istruzione alle crocette è inaccettabile. Curiosi tempi i nostri, in cui si straparla di “complessità” e poi si pretende di ridurre tutto a schemini semplici; in cui chi non è relativista è un arnese del passato, e poi si pretende di raggiungere l’oggettività assoluta nella valutazione. Un sistema di valutazione efficace deve valorizzare pienamente l’aspetto umano e culturale, e quindi non può basarsi altro che su metodi di ispezione incrociata interni al sistema (lontani dal vecchio sistema ispettivo ministeriale) di cui esistono molti modelli che possono essere studiati e articolati nei dettagli. L’appello internazionale chiama ad affrontare con coraggio e senza conformismi questa tematica, offrendo al nostro paese l’opportunità di evitare vie schematiche che hanno prodotto altrove pessimi risultati. Non a caso, l’appello è nato nel mondo anglosassone, dove il feticcio del “testing” e dell’‘accountability” quantitativa ha prodotto dissesti tali da spaccare in modo drammatico il mondo dell’educazione.

Qui sotto la lettera aperta di critica ai test OCSE PISA da parte di un elenco di firmatari (potete vedere la lista qui)

OPEN LETTER TO ANDREAS SCHLEICHER, OECD, PARIS

Dear Dr. Schleicher:

We write to you in your capacity as OECD’s director of the Programme of International Student Assessment (PISA). Now in its 13th year, PISA is known around the world as an instrument to rank OECD and non-OECD countries (60+ at last count) according to a measure of academic achievement of 15 year old students in mathematics, science, and reading. Administered every three years, PISA results are anxiously awaited by governments, education ministers, and the editorial boards of newspapers, and are cited authoritatively in countless policy reports. They have begun to deeply influence educational practices in many countries. As a result of PISA, countries are overhauling their education systems in the hopes of improving their rankings. Lack of progress on PISA has led to declarations of crisis and “PISA shock” in many countries, followed by calls for resignations, and far-reaching reforms according to PISA precepts.

We are frankly concerned about the negative consequences of the PISA rankings. These are some of our concerns:

-while standardized testing has been used in many nations for decades (despite serious reservations about its validity and reliability), PISA has contributed to an escalation in such testing and a dramatically increased reliance on quantitative measures. For example, in the United States, PISA has been invoked as a major justification for the recent “Race to the Top” program, which has increased the use of standardized testing for student-, teacher-, and administrator evaluations, which rank and label students, as well as teachers and administrators according to the results of tests widely known to be imperfect (see, for example, Finland’s unexplained decline from the top of the PISA table);

-in education policy, PISA, with its three-year assessment cycle, has caused a shift of attention to short-term fixes designed to help a country quickly climb the rankings, despite research showing that enduring changes in education practice take decades, not a few years to come to fruition. For example, we know that the status of teachers and the prestige of teaching as a profession has a strong influence on the quality of instruction, but that status varies strongly across cultures and is not easily influenced by short-term policy;

-by emphasizing a narrow range of measurable aspects of education, PISA takes attention away from the less measurable or immeasurable educational objectives like physical, moral, civic, and artistic development, thereby dangerously narrowing our collective imagination regarding what education is and ought to be about;

-as an organization of economic development, OECD is naturally biased in favor of the economic role of public schools. But preparing young men and women for gainful employment is not the only, and not even the main goal of public education, which has to prepare students for participation in democratic self-government, moral action, and a life of personal development, growth, and well-being;

-unlike United Nations (UN) organizations such as UNESCO or UNICEF that have clear and legitimate mandates to improve education and the lives of children around the world, OECD has no such mandate. Nor are there, at present, mechanisms of effective democratic participation in its education decision-making process;

-to carry out PISA and a host of follow-up services, OECD has embraced “public-private partnerships” and entered into alliances with multi-national for-profit companies, which stand to gain financially from any deficits—real or perceived—unearthed by PISA. Some of these companies provide educational services to American schools and school districts on a massive, for-profit basis, while also pursuing plans to develop for-profit elementary education in Africa, where OECD is now planning to introduce the PISA program;

-finally, and most importantly: the new PISA regime, with its continuous cycle of global testing, harms our children and impoverishes our classrooms, as it inevitably involves more and longer batteries of multiple-choice testing, more scripted “vendor”-made lessons, and less autonomy for our teachers. In this way PISA has further increased the already high stress-level in our schools, which endangers the well-being of our students and teachers.

These developments are in overt conflict with widely accepted principles of good educational and democratic practice:

-no reform of any consequence should be based on a single narrow measure of quality;

-no reform of any consequence should ignore the important role of non-educational factors, among which a nation’s socio-economic inequality is paramount. In many countries, including the United States, inequality has dramatically increased over the past 15 years, explaining the widening educational gap between rich and poor which education reforms, no matter how sophisticated, are unlikely to redress;

-an organization like OECD, as any organization that deeply affects the life of our communities, should be open to democratic accountability by members of those communities.

We are writing not only to point out deficits and problems. We would also like to offer constructive ideas and suggestions that may help to alleviate the above mentioned concerns. While in no way complete, they illustrate how learning could be improved without the above mentioned negative effects:

-develop alternatives to league tables: explore more meaningful and less easily sensationalized ways of reporting assessment outcomes. For example, comparing developing countries, where 15-year olds are regularly drafted into child labor, with first world countries makes neither educational nor political sense and opens OECD up for charges of educational colonialism;

-make room for participation by the full range of relevant constituents and scholarship: to date, the groups with greatest influence on what and how international learning is assessed are psychometricians, statisticians, and economists. They certainly deserve a seat at the table, but so do many other groups: parents, educators, administrators, community leaders, students, as well as scholars from disciplines like anthropology, sociology, history, philosophy, linguistics, as well as the arts and humanities. What and how we assess the education of 15 year old students should be subject to discussions involving all these groups at local, national, and international levels;

-include national and international organizations in the formulation of assessment methods and standards whose mission goes beyond the economic aspect of public education and which are concerned with the health, human development, well-being and happiness of students and teachers. This would include the above mentioned United Nations organizations, as well as teacher, parent, and administrator associations, to name a few;

-publish the direct and indirect costs of administering PISA so that taxpayers in member countries can gauge alternative uses of the millions of dollars spent on these tests and determine if they want to continue their participation in it;

-welcome oversight by independent international monitoring teams which can observe the administration of PISA from the conception to the execution, so that questions about test format and statistical and scoring procedures can be weighed fairly against charges of bias or unfair comparisons;

-provide detailed accounts regarding the role of private, for-profit companies in the preparation, execution, and follow-up to the tri-annual PISA assessments to avoid the appearance or reality of conflicts of interest;

-slow down the testing juggernaut. To gain time to discuss the issues mentioned here at local, national, and international levels, consider skipping the next PISA cycle. This would give time to incorporate the collective learning that will result from the suggested deliberations in a new and improved assessment model.

We assume that OECD’s PISA experts are motivated by a sincere desire to improve education. But we fail to understand how your organization has become the global arbiter of the means and ends of education around the world. OECD’s narrow focus on standardized testing risks turning learning into drudgery and killing the joy of learning. As PISA has led many governments into an international competition for higher test scores, OECD has assumed the power to shape education policy around the world, with no debate about the necessity or limitations of OECD’s goals. We are deeply concerned that measuring a great diversity of educational traditions and cultures using a single, narrow, biased yardstick could, in the end, do irreparable harm to our schools and our students.

Sincerely,

Heinz-Dieter Meyer (State University of New York)
and
Katie Zahedi (Principal, Linden Ave Middle School, Red Hook, New York)

1 Commento

Archiviato in EdChat, Pedagogia, Scuola

Una risposta a “Giorgio Israel su #Invalsi : una posizione equilibrata non scampa alle critiche dei talebani dei test standard

  1. maresa berliri

    Grazie Andrea per questo post su un argomento molto importante. Sono d’accordo con te che posizioni “talebane” e ideologiche sull’uso di test Invalsi (e per la verità su molti altri argomenti) non aiutino. Quello che serve è una riflessione seria sugli strumenti che la scuola italiana può e deve utilizzare per la valutazione delle perfomance e della qualità dell’istruzione e per decidere se e come intervenire con delle politiche adeguate. I test hanno dei problemi. Penso anche che i risultati dei test non vengano utilizzati dalle scuole come si dovrebbe (con un riflessione al livello di singolo istituto e classe), e questo è un peccato. D’altra parte basarsi solo sui risultati ai test è pericoloso. La cosa importante è che venga garantito a tutti il diritto allo studio sancito dalla Costituzione, con standard di qualità adeguati. L’articolo e la lettera suggeriscono una riflessione in generale sulla scuola che vale la pena di essere presa sul serio e portata avanti. ciao
    maresa

Lascia un commento

Inserisci i tuoi dati qui sotto o clicca su un'icona per effettuare l'accesso:

Logo WordPress.com

Stai commentando usando il tuo account WordPress.com. Chiudi sessione / Modifica )

Foto Twitter

Stai commentando usando il tuo account Twitter. Chiudi sessione / Modifica )

Foto di Facebook

Stai commentando usando il tuo account Facebook. Chiudi sessione / Modifica )

Google+ photo

Stai commentando usando il tuo account Google+. Chiudi sessione / Modifica )

Connessione a %s...