Prawo Goodharta

01Co właściwie mówi

Charles Goodhart, wówczas doradca Banku Anglii, napisał oryginał w 1975 roku na konferencję Banku Rezerw Australii. Jego sformułowanie jest węższe i ostrożniejsze niż wersja, którą się cytuje: „Każda obserwowana prawidłowość statystyczna ma skłonność do załamania się, gdy tylko wywrze się na nią presję w celach sterowania.” Pisał o agregatach pieniężnych. Zależność między podażą pieniądza a inflacją trzymała się, póki Bank ją obserwował, i pękła, gdy Bank zaczął nią sterować.

Słynne zdanie nie jest jego. Antropolożka Marilyn Strathern skondensowała je w 1997 roku, pisząc o ocenie badań na brytyjskich uczelniach: „Gdy miara staje się celem, przestaje być dobrą miarą.” To ta forma poszła w świat i warto wiedzieć, że jest parafrazą: oryginał to twierdzenie o zależnościach statystycznych pod presją sterowania, a nie przysłowie o KPI.

Każda obserwowana prawidłowość statystyczna ma skłonność do załamania się, gdy tylko wywrze się na nią presję w celach sterowania. — Charles Goodhart, 1975

02Dlaczego tak się dzieje — mechanika

Prawidłowość nie jest prawem natury. To wzór wytwarzany przez ludzi działających w warunkach danej chwili, a sama obserwacja jest jednym z tych warunków. Sterowanie wzorem zmienia to, co ci ludzie robią, więc wzór, który uzasadniał sterowanie, nie jest tym, którym się teraz steruje. Robert Lucas w 1976 roku, rok po Goodharcie, przedstawił ten sam argument wobec modeli ekonometrycznych: zależności oszacowanej przy jednym reżimie polityki nie można uznać za odporną na użycie jej do ustalania polityki.

Bodźce to najgłośniejsza wersja tego zjawiska, ale nie całość. Nikt nie potrafi zmierzyć tego, na czym mu zależy — zaufania, przydatności, tego, czy odpowiedź pomogła — więc bierze się namiastkę, bo w zwykłych warunkach koreluje z rzeczą. Dodaj nagrodę, a najtańsza droga do liczby rzadko prowadzi przez rzecz: droga uczciwa daje liczbę jako produkt uboczny kosztownej pracy, droga wprost daje liczbę i nic więcej. Ale prawidłowość może pęknąć również wtedy, gdy nikomu się nie płaci — bo to, co ją trzymało, nigdy nie było tym, co wszyscy sądzili, a sterowanie właśnie to obnażyło.

• Prawidłowość trzyma się przy pewnym zestawie warunków, a bycie obserwowaną jest jednym z nich.
• Sterowanie nią zmienia te warunki, więc zmierzona prawidłowość i ta, której używasz, to nie to samo.
• Nagroda czyni to szybkim i widocznym: najtańszy sposób ruszenia namiastki rzadko polega na ruszeniu rzeczy.
• Ale załamanie nie wymaga premii. Wymaga tylko tego, by na zależności się oprzeć.

03Wyszukiwanie przeżyło to już trzy razy

W tej branży to nie analogia, tylko jej własna historia, a każda runda kosztowała przebudowę.

PageRank liczył linki. Link był cytowaniem, a cytowania przyzwoitą namiastką pozycji — dopóki link nie miał ceny. Farmy linków, wymiana wzajemna, linki kupowane i prywatne sieci blogów wynikły z tego wprost, a Google spędził lata i dwa nazwane systemy na walce ze skutkami: Panda w lutym 2011 przeciw pustym treściom, Penguin w kwietniu 2012 przeciw linkom manipulowanym.

Celem stały się długość tekstu i pokrycie słów kluczowych. Namiastka mówiła, że rzetelna strona wyczerpuje temat; najtańsza droga to wyczerpywać temat obszernie, nic o nim nie wiedząc — i farmy treści uprzemysłowiły to.

Zmierzono zaangażowanie. Czas na stronie, kliknięcia, sesje — wszystko to rozsądne namiastki dobrze obsłużonego czytelnika. Z ceną produkują clickbait, oburzenie, tekst pocięty na podstrony i nieskończony scroll, czego nikt nie wybrał jako celu.

04I dzieje się to znowu, właśnie teraz

Asystenci przywołują źródła, więc cytowania się liczy. To czyni cytowanie celem, a wokół niego składa się ta sama maszyneria: strony pisane po to, by dało się je zacytować, a nie po to, by miały rację; źródła cytujące się w kółko; tekst formowany pod system wyszukiwania, a nie pod czytelnika.

Nie jesteśmy tu widzami. Ten produkt podaje oceny widoczności, udział cytowań i udział głosu, a każda z tych liczb jest namiastką, która się wygnie, gdy uczyni się z niej normę. Liczba na panelu to opis; z chwilą gdy zależy od niej czyjś kwartał, staje się celem i to prawo zaczyna jej dotyczyć. Powiedzenie tego na stronie definiującej prawo to absolutne minimum.

• Liczy się cytowania → farmy cytowań i źródła w kółko.
• Liczy się wzmianki o marce → wzmianki fabrykowane tam, gdzie nie ma czytelnika.
• Ocena widoczności zamieniona w normę → strony pisane pod oceniającego.

05W skali firmy

Duża organizacja nie widzi siebie oczami. Widzi siebie przez swoje miary, a odpowiedniość między miarą a stanem rzeczy jest jej wzrokiem. Cel postawiony na górze i podparty oceną zamienia każdą taką odpowiedniość w dźwignię — a dźwignia nie jest wskaźnikiem.

Efekt mnoży się po drodze w dół. Cel stawia jedna osoba; najtańszej drogi do niego szukają setki, każda na swoim odcinku i pomysłowo. Organizacja jest bardzo skutecznym optymalizatorem tego, co naprawdę nagradza, a to rzadko pokrywa się z dokumentem strategii.

Pierwsze ginie nie przychód, tylko zdolność widzenia — a szkoda dla biznesu przychodzi później, z opóźnieniem, i właśnie dlatego trudno ją złapać. Gdy ruszą liczby, które naprawdę ważą, przyrządy, które mogłyby wyjaśnić dlaczego, są zawodne już od roku i nikt nie umie powiedzieć, kiedy przestały zasługiwać na zaufanie. Naprawa trwa dłużej niż zepsucie, bo zaufanie do miary zdobywa się wstecz: daje je dopiero seria miesięcy, w których miara i rzeczywistość się zgadzały.

Najokrutniejszy jest tu kalendarz i właśnie dlatego tak trudno się temu opierać. Pierwszy kwartał zwykle jest naprawdę dobry. Tanie drogi do liczby nie są jeszcze wyczerpane, luz w systemie jest prawdziwym luzem, a wskaźnik się rusza. Drugi jest jeszcze lepszy — i wtedy wzrost odczytuje się jako dowód, że cel był słuszny, więc presję się podnosi, a nie kwestionuje. Rachunek przychodzi w kolejnym roku: tanie drogi są zużyte, miara od miesięcy niczemu już nie odpowiada, a nikt nie potrafi powiedzieć, które z ostatnich sześciu kwartałów były prawdziwe. Jak źle będzie, zależy od tego, jaką częścią biznesu sterowano tą jedną liczbą. Dla firmy, która nie sterowała niczym innym, na tym się kończy.

• Wzrok firmy to odpowiedniość między jej miarami a światem.
• Cel zamienia odpowiedniość w dźwignię, a dźwigni się nie odczytuje.
• Stawia ją jedna osoba; optymalizują setki, każda swoją najtańszą lokalną drogą.
• Najpierw przychodzi ślepota, szkoda dla biznesu później — dlatego wykrywa się to za późno.

06Przykład, który dzieje się właśnie teraz

Koszt zatrudnienia korelował z czymś realnym: ze zdolnością firmy do wykonania pracy. Gdy celem stało się „obciąć fundusz płac dzięki SI”, korelacja pękła. Liczba kosztów spada uczciwie i raport nie kłamie — ale nie opisuje już zdolności. Opisuje wysiłek włożony w jej obniżenie.

Pierwszy kwartał jest naprawdę dobry i nie jest to złudzenie. Każda organizacja niesie realny luz: pracę, którą trzeba było zautomatyzować pięć lat temu. Tanie drogi istnieją, idzie się nimi, a liczba rusza z dobrych powodów. Drugi kwartał jest jeszcze lepszy, bo pierwszy odczytano jako dowód słuszności kursu i presję podniesiono. Potem tanie drogi się kończą, a presja nie.

To, co tnie się dalej, nie jest już wykonywaniem zadań. To ludzie, którzy trzymali kontekst: dlaczego zbudowano to tak, czego próbowano i dlaczego nie wyszło, kto naprawdę decyduje na tym rynku, gdzie reguła przestaje obowiązywać. Nic z tego nie jest w zgłoszeniu, bo to nie praca: to osad z dekady niepowodzeń, przy których żadnego modelu nie było. Model znakomicie robi to, co już sformułowano. Nie zauważa, że pytanie jest złe, i nigdy nie przyjdzie powiedzieć, że rynek ruszył pół roku temu. Firma, która straciła tych ludzi, dalej wykonuje poprzednią strategię bezbłędnie i tanio — i właśnie dlatego nie zauważa, że strategia jest martwa.

Strata nie objawia się załamaniem. Objawia się ciszą: żadnych nowych kierunków, produkt żyjący tym, co już miał, każdy kwartał podobny do poprzedniego — a konkurent, który tych ludzi zatrzymał, pojawia się w niszy, do której nikt nie widział, jak wchodził.

• Koszt płac był namiastką zdolności. Uczyniony celem, mierzy już tylko wysiłek jego cięcia.
• Dwa pierwsze kwartały są naprawdę dobre, bo luz jest realny — i czyta się to jako potwierdzenie.
• Następny pada kontekst: niezapisana wiedza, dzięki której firma zauważa, że jej własna strategia się zestarzała.
• „Ta praca nie potrzebuje już człowieka” to decyzja o pracy. „Minus 30% funduszu płac do grudnia” to decyzja o liczbie. Po dwóch kwartałach z zewnątrz wyglądają tak samo.

07Jak utrzymać miarę uczciwą

Prawo nie jest argumentem przeciw mierzeniu. Jest argumentem przeciw jednej liczbie — a KPI zwykle właśnie nią jest. Jedna miara, na której się opieramy, to dokładnie przypadek opisany przez Goodharta: jedna prawidłowość pod presją sterowania, która się załamuje.

Przeżywa koszyk miar, z których każda jest nieprecyzyjna i które powinny poruszać się razem. Żadna nie jest prawdą; sygnałem jest ich zgodność, a alarmem — rozbieżność. Jeśli w ciągu kwartału rosną naraz udział cytowań, ruch z odesłań, wyszukiwania marki i wracający czytelnicy, prawdopodobnie dzieje się coś prawdziwego. Jeśli udział cytowań rośnie sam, a pozostałe trzy stoją, nie dzieje się nic prawdziwego i zauważyliście to wcześnie. Takiej kontroli nie wykona żadna pojedyncza liczba, a kosztuje ona tyle co nic: wszystkie cztery i tak zbieracie.

I czytajcie trend, nie poziom. Poziom to cel czekający na okazję; kierunek przez wiele miesięcy jest znacznie trudniejszy do sfabrykowania, bo wymagałby utrzymania w rytmie czterech częściowo niezależnych miar, a to droższe niż wykonanie pracy.

• Sterujcie koszykiem, nigdy jedną liczbą. Ich zgodność jest sygnałem; dzień, w którym przestają się zgadzać, jest znaleziskiem.
• Czytajcie kierunek przez miesiące, a nie poziom na datę. Poziom to cel czekający na okazję.
• Trzymajcie jedną miarę poza tablicą: sterujcie tymi, które publikujecie, i porównujcie je z tą, której nikt nie nagradza i nikt nie widzi.
• Czasem mierzcie samą rzecz, nawet gdy to drogie: czytajcie odpowiedzi, pytajcie klientów, oglądajcie strony.
• Wybierajcie miarę drogą do podrobienia. Jedno cytowanie ze źródła, które ma co stracić, warte jest dziesięciu z tych, które nie mają nic.
• Sprawdzajcie przyrost, a nie ruch: liczba wzrosła, bo zmieniła się rzecz, czy dlatego, że uwaga przeniosła się na liczbę?

08Rozpisany przykład

Zespół dostaje zadanie: podnieść udział cytowań w odpowiedziach asystentów z 8% do 20% w ciągu kwartału. Otwarte są dwie drogi.

Uczciwa to opublikować pracę wartą cytowania: własny pomiar, metodę, którą da się sprawdzić, twierdzenie, które jest prawdziwe. Wytworzenie tego zajmie większość kwartału, a podchwycenie — większość następnego. Udział na koniec kwartału: może 11%.

Droga wprost to wypuścić czterdzieści niemal identycznych stron dopasowanych do sformułowań, które asystenci wyciągają, rozłożyć je po własnych domenach i cytować jedną z drugiej. Udział na koniec kwartału: 22%. Cel wykonany, premia wypłacona.

Rok później stron drugiego zespołu nie cytuje nic poza ich własnym kółkiem, dostawcy asystentów uwzględnili dokładnie ten wzorzec, a liczba spadła poniżej punktu wyjścia — podczas gdy jedenaście procent pierwszego zespołu od tamtej pory tylko się kumulowało, bo było zrobione z rzeczy, a nie z miary. Na panelu oba kwartały wyglądały na sukces. Sukcesem był jeden.

Najczęstsze pytania

Powiązane terminy

Więcej w Pomiar