Pedro Cordoba : "Expertisons les experts !"

Non disputemus sed calculemus

Les experts arrivent en bombant le torse, bardés de chiffres. Cela intimide tout le monde car rien, semble-t-il, n’est moins contestable qu’une évaluation chiffrée. C’est pourquoi la dispute porte, quand elle a lieu, sur l’interprétation des données ou les conclusions à en tirer, jamais sur les calculs eux-mêmes. Un expert ne saurait ni se tromper ni mentir sur les chiffres, tel est le sous-entendu. Ou il se disqualifierait lui-même en tant qu'expert - cette auto-disqualification définissant pour Foucault le caractère grotesque de l'expertise. Et pourtant…

J’ai montré dans le billet précédent qu’une confusion remontant aux années 1960 avait contaminé toutes les statistiques officielles du redoublement en France de telle sorte que les experts nous racontent, en toute bonne foi, une histoire fantaisiste. L’erreur n’est pas anodine puisqu’elle a alimenté l’idée fausse que la majorité des élèves ne pouvait pas suivre dans une école « conçue pour l’élite ». On a ainsi justifié une cascade de réformes embrayant les unes sur les autres et poursuivie jusqu’à aujourd’hui, chacune prenant appui sur l’échec de la précédente pour aller plus loin dans la même voie de telle sorte qu’il n’y a plus qu’une dégringolade sans fin, une course vers l’abîme que rien ne semble pouvoir stopper : ce sont désormais les licences universitaires qui s’effondrent comme château de cartes, frappées à mort. Si changeant d’échelle, on passe de la France au domaine des comparaisons internationales, l’histoire est tout aussi fantaisiste. Le même « storytelling », la bonne foi en moins. Car l’erreur laisse ici la place au mensonge délibéré.

Il suffit de taper « PISA » et « redoublement » sur un moteur de recherches pour voir surgir des dizaines de milliers de références (63 400 sur Google pour être exact, ce dimanche à 20 h). Impossible de tout lire, bien sûr. Mais c’est heureusement tout aussi inutile qu’impossible puisque le consensus est total. On se contentera d’une phrase tirée du blog d’Eric Charbonnier, tel qu'il est promu par Le Monde en ligne : « Au niveau international, un taux élevé de redoublement est généralement synonyme de piètres résultats globaux (voir PISA à la loupe, numéro 6 : http://www.oecd.org/pisa/pisainfocus/). » La messe est dite : il y a corrélation entre échec scolaire et redoublement.

La chose n’a en principe rien d’étonnant. Lorsque les élèves n’avancent pas, ils redoublent, c’est ainsi, dit le sens commun. Mais nos experts l’envisagent à l’envers : puisque le redoublement n’améliore pas les résultats, il faut supprimer le redoublement et on aura de meilleurs résultats, amen. Halte là !, répliquent de bons esprits. Une corrélation n’est pas une cause. Il est vrai, disent-ils par exemple, qu’il y a plus de malades dans les hôpitaux que sur les plages ou aux sports d’hiver mais ce n’est pas en fermant les hôpitaux pour les remplacer par des stations de ski ou par des paillotes en bord de mer qu’on va guérir les malades. Tel est l’état actuel de la dispute.

Elle porte sur l’interprétation des chiffres et les conclusions à en tirer. Mais elle ne porte pas sur les chiffres eux-mêmes. Or ces chiffres sont faux. Il n’y a aucune corrélation au niveau international entre les scores des différents pays de l’OCDE dans l’enquête PISA et les taux de redoublement respectifs. Et de fait, ni le petit document de synthèse signalé par Eric Charbonnier, ni le chapitre correspondant dans le volume IV de PISA 2009, ni bien sûr le billet d’Eric Charbonnier lui-même ne comportent la moindre étude des corrélations sur lesquelles ils prétendent fonder leurs analyses et leurs recommandations. Ils ne sont pourtant pas avares de chiffres, de tableaux et de graphiques, nos experts.

Ils auraient pu donner le coefficient de corrélation, n’est-ce pas ? Proposer un graphique en nuages de points pour que tout le monde puisse constater de visu que les données s’alignent sur une belle droite en diagonale, n’est-ce pas qu’ils auraient pu ? Ou même qu’ils auraient dû ? Eh bien, non, rien du tout. C’est pourquoi la dispute ici est inutile. Il suffit de calculer, de faire à leur place le boulot que les experts n’ont pas voulu faire parce que les résultats dérangeaient leurs objectifs politiques. Itaque non disputemus sed calculemus.

Un calcul très simple sur les 34 pays de l’OCDE, ceux qui servent de base à la « réflexion » d’Eric Charbonnier, montre que le coefficient de corrélation entre les scores en lecture et les taux de redoublement est de - 0,32. Rappelons que le coefficient de corrélation varie entre -1 et +1, qu’il est d’autant plus significatif qu’il s’approche des valeurs extrêmes et totalement nul s’il est égal à zéro. La valeur négative indique ici que les élèves redoublent moins quand le score est meilleur. Mais nous sommes si proches de zéro que tout statisticien en conclura qu’il n’y a pratiquement pas de corrélation entre les deux séries. Ou si faible qu’elle est négligeable. Ce qu’on constatera de visu dans ce graphique fait par mes soins et absent des 6 volumes de PISA.

Il y aurait corrélation négative entre scores et taux de redoublement si tous les points étaient dans le voisinage immédiat de la ligne droite qui montre l’orientation moyenne des résultats jusqu’à se confondre pratiquement avec elle. Ce n’est visiblement pas le cas. Mais ce n’est pas tout. Car le coefficient de – 0,32 qui détermine la pente de notre droite n’est pas seulement proche de zéro. Il est aussi très fortement tributaire des performances des premiers et des derniers de la liste. Il suffirait d’éliminer à la fois les 6 cadors et les 3 broques pour voir se dessiner un tout autre paysage. Pour la grande majorité des pays de l’OCDE (dont fait partie la France) il n’y a pas du tout de corrélation, même très faible. Car le coefficient est maintenant de 0,02. Heureusement pour nos experts, ce chiffre est vraiment négligeable. Faute de quoi, il faudrait en conclure pour suivre leur mode de raisonnment et puisque ce chiffre est malgré tout positif, que pour améliorer ses résultats dans PISA, le mieux à faire est d’AUGMENTER le nombre de redoublements. Ce qu’on constatera derechef dans ce nouveau graphique :

Soigneusement occultés par les promoteurs de PISA, ces chiffres sont terriblement troublants. Car le conflit des interprétations supposait la réalité de la corrélation. On se disputait sur fond d’un accord minimal et c’est seulement sur l’ordre des causes et des conséquences que divergeaient partisans et adversaires du redoublement. Pour les uns l’échec scolaire était cause des redoublements, pour les autres les redoublements étaient cause d’échec scolaire. Nos petits calculs nous invitent à voir les choses autrement.

Mais comment est-il possible qu’il n’y ait aucun lien entre les scores des différents pays de l’OCDE et les taux de redoublement ? C’est cela qui, en vérité, est très étonnant et c’est sur cela que les experts auraient dû réfléchir s’ils avaient un peu de cervelle. L’idée d’une corrélation entre les deux séries semblait aller de soi, elle s’imposait comme une évidence. Or cette corrélation n’existe pas.

Conclusion : il faut tout reprendre à zéro. C’est d’abord à l’intérieur de chaque pays qu’il convient d’étudier les corrélations et les relations de causalité éventuelles entre différents phénomènes. Les comparaisons internationales nous égarent quand on prétend en tirer des enseignements à valeur universelle. Mais du coup c’est l’entreprise PISA elle-même qui apparaît comme une immense esbroufe. Surtout quand ses experts franchissent le pas qui mène de l’erreur à la faute et de la simple incompétence à des formes, plus ou moins suaves, de manipulation.