Loi de Goodhart

01Ce qu'elle dit réellement

Charles Goodhart, alors conseiller de la Banque d'Angleterre, a écrit l'original en 1975 pour une conférence de la Banque de réserve d'Australie. Sa formulation est plus étroite et plus prudente que la version que l'on cite : « Toute régularité statistique observée tend à s'effondrer dès qu'une pression est exercée sur elle à des fins de contrôle. » Il parlait d'agrégats monétaires. La relation entre la masse monétaire et l'inflation a tenu tant que la Banque l'observait et s'est rompue quand la Banque a commencé à s'en servir pour piloter.

La phrase célèbre n'est pas de lui. L'anthropologue Marilyn Strathern l'a condensée en 1997, en écrivant sur l'évaluation de la recherche dans les universités britanniques : « Quand une mesure devient un objectif, elle cesse d'être une bonne mesure. » C'est cette forme qui a voyagé, et il vaut la peine de savoir que c'est une paraphrase : l'original est une affirmation sur des relations statistiques sous pression de contrôle, pas un proverbe sur les KPI.

Toute régularité statistique observée tend à s'effondrer dès qu'une pression est exercée sur elle à des fins de contrôle. — Charles Goodhart, 1975

02Pourquoi cela arrive, mécaniquement

Une régularité n'est pas une loi de la nature. C'est un motif produit par des gens agissant dans les conditions du moment, et l'observation elle-même est l'une de ces conditions. Piloter avec le motif change ce que ces gens font, si bien que le motif qui justifiait le pilotage n'est pas celui avec lequel on pilote désormais. Robert Lucas a tenu le même raisonnement sur les modèles économétriques en 1976, un an après Goodhart : une relation estimée sous un régime de politique ne peut être supposée survivre à son emploi pour fixer la politique.

Les incitations en sont la version la plus bruyante, pas la totalité. Personne ne peut mesurer ce qui lui importe — la confiance, l'utilité, le fait qu'une réponse ait servi — alors on choisit une mesure indirecte parce qu'elle corrèle avec la chose en conditions ordinaires. Ajoutez une récompense et la route la moins chère vers le chiffre passe rarement par la chose : la route honnête produit le chiffre comme sous-produit d'un travail coûteux, la route directe produit le chiffre et rien d'autre. Mais une régularité peut aussi se rompre sans que personne ne soit payé, parce que ce qui la faisait tenir n'a jamais été ce que l'on croyait, et que le pilotage est ce qui l'a mis au jour.

• Une régularité tient sous un certain ensemble de conditions, et être observée en fait partie.
• Piloter avec elle change ces conditions : la régularité mesurée n'est plus celle que l'on utilise.
• Une récompense rend cela rapide et visible : la façon la moins chère de déplacer une mesure indirecte est rarement de déplacer la chose.
• Mais l'effondrement n'exige pas de prime. Il exige seulement que l'on s'appuie sur la relation.

03La recherche a déjà vécu cela trois fois

Dans ce métier ce n'est pas une analogie : c'est sa propre histoire, et chaque tour a coûté une reconstruction.

PageRank comptait les liens. Un lien était une citation, et les citations une mesure indirecte convenable du crédit — jusqu'à ce qu'un lien ait un prix. Fermes de liens, échanges réciproques, liens achetés et réseaux privés de blogs en ont découlé directement, et Google a passé des années et deux systèmes nommés à en combattre les conséquences : Panda en février 2011 contre le contenu creux, Penguin en avril 2012 contre les liens manipulés.

La longueur du texte et la couverture de mots-clés sont devenues l'objectif. La mesure indirecte disait qu'une page sérieuse couvre son sujet ; la route la moins chère était de le couvrir longuement sans rien savoir, et les fermes de contenu l'ont industrialisé.

On a mesuré l'engagement. Temps passé, clics, sessions : autant de mesures raisonnables d'un lecteur bien servi. Une fois tarifées, elles produisent les pièges à clics, l'indignation, la pagination découpée et le défilement infini, dont personne n'a fait un but.

04Et cela recommence, en ce moment

Les assistants citent des sources, donc les citations sont comptées. Une citation devient dès lors un objectif, et la même machinerie s'assemble autour : des pages écrites pour être citables plutôt que pour être justes, des sources qui se citent en rond, du texte façonné pour un système de recherche et non pour un lecteur.

Nous ne sommes pas spectateurs ici. Ce produit publie des scores de visibilité, une part de citations et une part de voix, et chacun de ces chiffres est une mesure indirecte qui pliera si on en fait un quota. Un chiffre sur un tableau de bord est une description ; dès que le trimestre de quelqu'un en dépend, il devient un objectif et cette loi s'y applique. Le dire sur la page qui définit la loi est la moindre des choses.

• On compte les citations → fermes de citations et sources circulaires.
• On compte les mentions de marque → des mentions fabriquées là où il n'y a aucun lecteur.
• Un score de visibilité transformé en quota → des pages écrites pour celui qui note.

05À l'échelle d'une entreprise

Une grande organisation ne se voit pas avec ses yeux. Elle se voit à travers ses mesures, et la correspondance entre une mesure et un état de fait constitue sa vue. Un objectif fixé en haut et adossé à l'évaluation transforme chacune de ces correspondances en levier — et un levier n'est pas un cadran.

L'effet se multiplie en descendant. Une personne fixe l'objectif ; des centaines cherchent la route la moins chère pour l'atteindre, chacune dans son domaine et avec ingéniosité. Une organisation est un optimiseur très efficace de ce qu'elle récompense réellement, ce qui coïncide rarement avec le document de stratégie.

Ce qui se perd d'abord, ce n'est pas le chiffre d'affaires : c'est la capacité de voir — et le dommage pour l'activité arrive ensuite, avec retard, ce qui est précisément ce qui le rend difficile à saisir. Quand les chiffres qui comptent bougent enfin, les instruments qui auraient expliqué pourquoi sont peu fiables depuis un an, et personne ne sait dire quand ils ont cessé d'être dignes de confiance. La réparation prend plus de temps que la casse, car la confiance en une mesure est rétrospective : elle ne s'acquiert que par une série de mois où la mesure et la réalité concordaient.

Le calendrier est la part cruelle, et c'est pourquoi il est si difficile d'y résister. Le premier trimestre est en général réellement bon. Les routes bon marché vers le chiffre ne sont pas épuisées, le mou du système est du vrai mou, et le chiffre bouge. Le deuxième est meilleur encore — et à ce stade la hausse est lue comme la preuve que l'objectif était le bon, si bien que l'on augmente la pression au lieu de la questionner. La facture arrive l'année suivante : les routes bon marché sont usées, la mesure ne correspond plus à rien depuis des mois, et personne ne peut plus dire lesquels des six derniers trimestres étaient réels. La gravité dépend de la part de l'activité qui était pilotée par ce seul chiffre. Pour une entreprise qui ne pilotait qu'avec lui, c'est là que cela se termine.

• La vue d'une entreprise, c'est la correspondance entre ses mesures et le monde.
• Un objectif transforme une correspondance en levier, et un levier ne se lit pas.
• Une personne le fixe ; des centaines l'optimisent, chacune par sa route locale la moins chère.
• L'aveuglement vient d'abord, le dommage ensuite — d'où la détection tardive.

06L'exemple en cours en ce moment même

Le coût salarial était corrélé à quelque chose de réel : la capacité de l'entreprise à faire le travail. Dès que « réduire la masse salariale grâce à l'IA » est devenu l'objectif, la corrélation a cédé. Le chiffre baisse honnêtement et le rapport dit vrai — mais il ne décrit plus la capacité. Il décrit l'effort consacré à la réduire.

Le premier trimestre est réellement bon, et ce n'est pas une illusion. Toute organisation porte du mou véritable : du travail qu'il aurait fallu automatiser il y a cinq ans. Les routes bon marché existent, on les prend, et le chiffre bouge pour de bonnes raisons. Le deuxième trimestre est meilleur encore, parce que le premier a été lu comme la preuve que le cap était juste et que la pression a été augmentée. Ensuite les routes bon marché s'épuisent, et la pression, non.

Ce que l'on coupe alors, ce n'est plus l'exécution des tâches. Ce sont les gens qui tenaient le contexte : pourquoi c'est construit ainsi, ce qui a été tenté et pourquoi cela a échoué, qui décide vraiment sur ce marché, où la règle cesse de s'appliquer. Rien de tout cela ne figure dans un ticket, car ce n'est pas du travail : c'est le dépôt d'une décennie d'échecs auxquels aucun modèle n'a assisté. Un modèle fait à merveille ce qui est déjà formulé. Il ne remarque pas que la question est la mauvaise, et il ne vient jamais dire que le marché a bougé il y a six mois. Une entreprise qui a perdu ces gens continue d'exécuter la stratégie précédente, impeccablement et à bas coût — ce qui est précisément la raison pour laquelle elle ne s'aperçoit pas que la stratégie est morte.

La perte n'apparaît pas comme un effondrement. Elle apparaît comme un silence : plus de nouvelles directions, un produit qui vit de ce qu'il avait déjà, chaque trimestre ressemblant au précédent — et un concurrent qui a gardé ces gens surgissant dans une niche où personne ne l'a vu entrer.

• Le coût salarial servait de mesure indirecte de la capacité. Devenu objectif, il ne mesure plus que l'effort pour le réduire.
• Les deux premiers trimestres sont réellement bons, parce que le mou est réel — et cela se lit comme une confirmation.
• Ce qui tombe ensuite, c'est le contexte : le savoir non écrit qui permet de voir que sa propre stratégie a vieilli.
• « Ce travail n'a plus besoin d'une personne » est une décision sur le travail. « Moins 30 % de masse salariale d'ici décembre » est une décision sur un chiffre. Deux trimestres plus tard, vues du dehors, elles sont identiques.

07Comment garder une mesure honnête

La loi n'est pas un argument contre la mesure. C'est un argument contre le chiffre unique — et un KPI est en général exactement cela. Une seule mesure sur laquelle on s'appuie, c'est précisément le cas décrit par Goodhart : une régularité sous pression de contrôle, qui s'effondre.

Ce qui survit, c'est un panier de mesures, chacune imprécise, qui devraient bouger ensemble. Aucune n'est la vérité ; leur accord est le signal et leur désaccord est l'alarme. Si, sur un trimestre, la part de citations, le trafic de référence, les recherches de marque et les lecteurs qui reviennent montent tous, il se passe probablement quelque chose de réel. Si la part de citations grimpe seule pendant que les trois autres stagnent, il ne se passe rien de réel et vous l'avez trouvé tôt. C'est une vérification qu'aucun chiffre isolé ne peut faire, et elle est bon marché : vous collectez déjà les quatre.

Et lisez la tendance, pas le niveau. Un niveau est un objectif qui attend son heure ; une direction sur plusieurs mois est bien plus difficile à fabriquer, car la fabriquer suppose de tenir en cadence quatre mesures partiellement indépendantes, ce qui coûte plus cher que de faire le travail.

• Pilotez avec un panier, jamais avec un chiffre. Leur accord est le signal ; le jour où ils cessent de concorder est la trouvaille.
• Lisez la direction sur des mois plutôt qu'un niveau à une date. Un niveau est un objectif qui attend son heure.
• Gardez une mesure hors du tableau : pilotez avec celles que vous publiez et confrontez-les à une mesure que personne ne récompense et que personne ne voit.
• Mesurez la chose elle-même de temps en temps, même quand c'est coûteux : lisez les réponses, interrogez les clients, regardez les pages.
• Préférez une mesure coûteuse à falsifier. Une citation d'une source qui a quelque chose à perdre en vaut dix qui n'ont rien.
• Testez l'incrémentalité plutôt que le mouvement : le chiffre a-t-il monté parce que la chose a changé, ou parce que l'attention s'est déplacée vers le chiffre ?

08Un exemple détaillé

On demande à une équipe de porter la part de citations dans les réponses d'IA de 8 % à 20 % en un trimestre. Deux routes s'ouvrent.

La route honnête consiste à publier un travail digne d'être cité : une mesure originale, une méthode vérifiable, une affirmation vraie. La produire prend l'essentiel du trimestre et être repris l'essentiel du suivant. Part de citations à la fin du trimestre : peut-être 11 %.

La route directe consiste à publier quarante pages quasi identiques calées sur les formulations que les assistants récupèrent, à les diffuser sur des domaines détenus et à les citer les unes depuis les autres. Part à la fin du trimestre : 22 %. Objectif atteint, prime versée.

Un an plus tard, les pages de la seconde équipe ne sont citées par rien en dehors de leur propre cercle, les fournisseurs d'assistants ont corrigé exactement ce motif, et le chiffre est tombé sous son point de départ — tandis que les onze pour cent de la première équipe ont continué de composer, parce qu'ils étaient faits de la chose et non de la mesure. Sur le tableau de bord, les deux trimestres ressemblaient à une réussite. Un seul en était une.

Questions fréquentes

Termes liés

Plus dans Mesure