Algunes coses que potser val la pena no oblidar sobre les proves PISA

Posted on 11 Juliol 2014

0


PISA-banner

La publicació dels resultats de les anomenades proves PISA obre, habitualment, els informatius de televisió i ràdio, ocupa portades dels diaris en paper, motiva els opinadors i encén debats en la multitud de tertúlies dels mitjans. Abans això passava cada tres anys –que és la periodització d’aquestes proves-, però darrerament succeeix més sovint i tot, des que PISA ha diversificat el seu temari i segueix una estratègia de dosificar-ne la presentació de resultats.

Les proves PISA (Programme for International Student Assessment, de l’Organització per a la Cooperació i el Desenvolupmanet, OCDE) són avaluacions comparatives internacionals dels sistemes educatius, a partir d’una mostra de l’alumnat de 15 anys que efectua –almenys en teoria- una mateixa prova sobre diverses competències bàsiques, fonamentalment les matemàtiques i les de comprensió lectora –però no només. Es fan cada tres anys: la primera aplicació es va fer el 2000, tot i que el 1999 ja es va passar una primera prova pilot. I ofereixen un rànquing de resultats entre els estats i els territoris avaluats i la mitjana.

En cada nova edició hi participen més estats, de manera que, si el 2000 van ser, en un principi, 32 (28 de l’OCDE i 4 associats), el 2009 i el 2013 ja hi varen participar 65 (34 de l’OCDE i 31 associats). Quan territoris concrets o àmbits polítics d’aquests estats apliquen les proves a una mostra de centres prou gran perquè sigui –també teòricament- representativa, PISA n’ofereix dades. Per això Catalunya (i d’altres 85 territoris subestatals) apareix referenciada, analitzada i avaluada en aquests informes.

Les dades que aporta són, com en tots els estudis d’aquests tipus, interessants i cal tenir-les en compte, analitzar-les. Ara bé, són “les dades”? Cal prendre’s els estudis PISA com el baròmetre objectiu de la realitat d’un sistema educatiu concret? Són un baròmetre absolut?

Hi ha molts aspectes que haurien de dur-nos a respondre negativament a aquestes preguntes -o, si més no, matisar-les suficientment. Anem a pams:

1er. La desigualtat entre els sistemes avaluats comparativament. Suècia, Alemanya, Dinamarca, el Regne Unit, els USA, Azerbaijan, Jordània, Qatar, Kyrgyzstan, Montenegro, Tailàndia, Xina Taipei, Tunísia, Colòmbia o Uruguai tenen una societat, una economia, una tradició cultural, una legislació educativa i una realitat escolar comparables a partir d’una avaluació unificada? Ni de bon tros, evidentment.

2on. La no constància en la tria dels centres avaluats a cada territori. Mirem el mateix cas de Catalunya. Primer, pel que fa al nombre de centres: dels 23 del les proves PISA 2000 als 51 de les de 2012, la qual cosa fa que no tingui cap significació real comparar l’evolució dels resultats de la seqüència completa, ja que l’alteració de la significació estadística és evident. Segon, i segurament encara més important, l’alteració de la tipologia d’aquests centres: els 50 del 2009 i els 51 de 2012 van tenir poc en comú pel que fa a la seva tipologia quant a resultats acadèmics i context social. Una cosa i altra expliquen corbes en els resultats que, sinó, són difícils d’entendre. Vegem, així, els resultats en comprensió lectora de Catalunya respecte als resultats mitjana de l’OCDE:

any             Catalunya           OCDE
2000          495 punts                500
2003          483                          494
2006          477                          492
2009          498                           493
2012          501                           496

No hi ha res que expliqui l’oscil·lació dels resultats catalans i la permanència de la mitjana com no sigui aquestes alteracions en la mostra. Entre d’altres motius perquè cap sistema empitjora, es recupera i millora en un espai tan curt de temps.

3er. La fiabilitat del model estadístic d’avaluació i obtenció dels resultats. No és cert, contra el que es diu habitualment, que a tots els territoris es facin les mateixes proves. De fet, les proves varien, en un grau més o menys significatiu, segons la realitat cultural de cada territori, i s’hi aplica un model estadístic de processament de resultats que hauria d’assegurar-ne la comparació objectiva, el conegut com a model Rasch, creat pel matemàtic danès George Rasch. Aquest model figura que serveix, a partir d’un procés molt complex, per arribar a determinar les puntuacions que haurien obtingut els alumnes de cada territori si haguessin respost realment a unes preguntes idèntiques.

El model Reach és discutit per alguns matemàtics que en denuncien errors de base, però, pel que ens interessa, alguns especialistes opinen que, en les proves PISA, s’utilitza a més de manera incorrecta. El professor Freiner, de la Universitat de Copenhague, va explicar a Times Education Supplement que, per exemple, per a poder aplicar el model Reach, les preguntes haurien de tenir el mateix grau de dificultat a cada territori, i que això no és així. És el que, en estadística, es coneix com a “funcionament diferencial dels ítems” i que, de no poder-se solventar –com no ho pot fer i no ho fa el model Reach-, impedeix l’objectivitat dels resultats. Cada resultat, doncs, té una lògica interna però no necessàriament una lògica comparativa global.

4rt. Els interessos econòmics (i empresarials). L’OCDE, l’organització impulsora de les proves PISA, és fonamentalment economicista i defensora del lliure mercat. Però les proves PISA, realment, no les fa de manera directa l’OCDE, sinó que les encarrega. Fins ara, a partir de diverses comissions assessores d’un consorci que integrava bona part de les empreses dedicades a tasques d’avaluació, amb la col•laboració d’institucions educatives de cada territori –en la majoria de casos públiques, però tampoc sempre.

L’OCDE ha donat, encara, un pas endavant en la privatització de les proves PISA i el seu lligam a interessos econòmics concrets en el camp educatiu. Ha concedit la concepció i el desenvolupament de les proves 2015 a la multinacional anglesa Pearson, incloent-hi l’exclusivitat de la plataforma digital específica. Pearson, una potent editorial de mitjans educatius i llibres de text –a banda d’altres nínxols de negoci escrits i multimèdia- i que va facturar més de 6.000 milions d’euros el 2013, redactarà les proves, les corregirà i aportarà a les institucions educatives estatals o subestatals el programari informàtic d’anàlisi. Cobrarà i obtindrà una gran quantitat de dades per a l’expansió del seu model de negoci.

Les dades de les proves PISA, doncs, aporten informació significativa, però de cap de les maneres són una radiografia absoluta dels resultats d’un sistema educatiu. I tenen un perill afegit: l’alt interès mediàtic que han suscitat han dut, en més d’una ocasió i en més d’un país, a modificar alguns aspectes del propi sistema educatiu per tal d’assolir millors resultats en el rànquing PISA. És a dir, no a millorar el sistema, sinó a adequar-lo a la metodologia de les preguntes i respostes de les proves promogudes per l’OCDE. De fet, hi ha qui sospita que la creació, en la LOMCE de Wert, de la Formació Professional Bàsica és una clara demostració d’aquesta obsessió-PISA. La FP Bàsica ha estat dissenyada com una mena de contenidor on puguin anar a parar, abans d’acabar l’ESO, alumnes amb dificultats, alumnes no adaptats, alumnes conflictius… Alumnes que, com que se situaran fora del sistema secundari reglat i reconegut, tot i tenir 15 anys, no hi haurà el “perill” que realitzin les proves.

Notes.

En les webs del programa PISA, del Consell Superior d’Avaluació del Sistema Educatiu de la Generalitat de Catalunya i del Ministerio de Educación, Cultura y Deporte del govern espanyol hi trobareu tot el material i informació oficial referent a les proves PISA.

Una anàlisi profunda i crítica del model PISA la podeu trobar a skhole.fr. La Fundació Bofill ha analitzat també, de manera externa, alguns dels resultats de les proves.

Podeu accedir al catàleg de Pearson.es

Etiquetat: ,
Posted in: Educació