Закон Гудгарта

01Що там сказано насправді

Чарльз Гудгарт, тодішній радник Банку Англії, написав первісне формулювання 1975 року для конференції Резервного банку Австралії. Воно вужче й обережніше за те, яке цитують: «Будь-яка спостережувана статистична закономірність має схильність руйнуватися, щойно на неї починають тиснути з метою керування». Ішлося про грошові агрегати. Зв'язок між грошовою масою та інфляцією тримався, доки Банк за ним спостерігав, і зламався, щойно Банк почав ним керувати.

Відома фраза — не його. Антропологиня Мерилін Стратерн стиснула думку 1997 року, пишучи про оцінювання досліджень у британських університетах: «Коли показник стає ціллю, він перестає бути добрим показником». Саме ця форма розійшлася світом, і варто знати, що це переказ: оригінал — твердження про статистичні зв'язки під тиском керування, а не приказка про KPI.

Будь-яка спостережувана статистична закономірність має схильність руйнуватися, щойно на неї починають тиснути з метою керування. — Чарльз Гудгарт, 1975

02Чому так стається — механіка

Закономірність — не закон природи. Це взірець, який виникає з дій людей за умов певного моменту, і саме спостереження є однією з тих умов. Керування за взірцем змінює те, що ці люди роблять, — отже, взірець, який виправдовував керування, вже не той, яким ви керуєте. Роберт Лукас 1976 року, через рік після Гудгарта, висловив те саме щодо економетричних моделей: зв'язок, оцінений за одного режиму політики, не можна вважати таким, що переживе використання для встановлення політики.

Стимули — найгучніший вияв цього, але не весь він. Ніхто не може виміряти те, що йому справді важливе — довіру, користь, чи допомогла відповідь, — тому беруть замінник, який за звичайних умов корелює із суттю. Додайте винагороду, і найдешевший шлях до числа рідко пролягає крізь суть: чесний дає число як побічний продукт дорогої роботи, прямий дає число і більше нічого. Але закономірність може зламатися й тоді, коли нікому нічого не платять, — бо трималася вона зовсім не на тому, на чому всі гадали, а керування це виявило.

• Закономірність тримається за певного набору умов, і спостереження — одна з них.
• Керування за нею змінює ці умови, тож виміряна закономірність і та, якою ви керуєте, — різні.
• Винагорода робить це швидким і помітним: найдешевший спосіб зрушити замінник рідко полягає в тому, щоб зрушити суть.
• Але для руйнування премія не потрібна. Потрібно лише спертися на цей зв'язок.

03Пошук пережив це вже тричі

Для цієї галузі це не аналогія, а власна історія, і кожне коло коштувало перебудови.

PageRank рахував посилання. Посилання було цитуванням, а цитування — пристойним замінником репутації, доки в посилання не з'явилася ціна. Ферми посилань, взаємний обмін, купівля, приватні мережі блогів — усе це випливло безпосередньо, і Google витратив роки й дві іменовані системи на боротьбу з наслідками: Panda у лютому 2011-го проти порожніх текстів і Penguin у квітні 2012-го проти накручених посилань.

Ціллю стали обсяг тексту й покриття ключових слів. Замінник казав, що ґрунтовна сторінка розкриває тему; найдешевший шлях — розкривати тему довго, нічого при цьому не знаючи, і контент-ферми поставили це на потік.

Виміряли залученість. Час на сторінці, кліки, сеанси — усе це розумні замінники того, що читачеві прислужилися. Щойно вони дістали ціну, з'явилися клікбейт, обурення, розрізані на шматки сторінки й нескінченна стрічка. Жодного з цього ніхто не ставив за мету.

04І це відбувається знову, просто зараз

Асистенти посилаються на джерела — отже, посилання рахують. А отже, цитування стало ціллю, і навколо нього збирається та сама механіка: сторінки, писані заради того, щоб їх зручно було процитувати, а не заради того, щоб бути правими; джерела, що посилаються одне на одне по колу; текст, підігнаний під пошукову систему, а не під читача.

Ми тут не спостерігачі. Цей продукт показує оцінки видимості, частку цитувань і частку голосу — і кожне з цих чисел є замінником, який зігнеться, щойно з нього зроблять норму. Число на панелі — це опис; тієї миті, коли від нього залежить чийсь квартал, воно стає ціллю, і цей закон починає діяти на нього. Сказати про це на сторінці, яка визначає закон, — найменше, що ми можемо зробити.

• Рахують цитування → ферми цитувань і джерела по колу.
• Рахують згадки бренду → згадки роблять там, де читача немає.
• Оцінку видимості перетворили на норму → сторінки пишуть для оцінювача.

05На рівні компанії

Велика організація не бачить себе очима. Вона бачить себе через показники, і відповідність між показником і станом справ — це і є її зір. Ціль, поставлена згори й підкріплена оцінюванням, перетворює кожну таку відповідність на важіль, — а важіль не є датчиком.

Дорогою вниз ефект множиться. Ціль ставить одна людина; найдешевший шлях до неї шукають сотні — кожен у своїй ділянці й кожен винахідливо. Організація є дуже ефективним оптимізатором того, що вона насправді винагороджує, а це рідко збігається з написаним у стратегії.

Першим втрачається не виторг. Першою втрачається здатність бачити — а шкода для бізнесу приходить після, із затримкою, і саме через цю затримку її так важко впіймати. Коли зрушать числа, які справді важать, прилади, що могли б пояснити чому, будуть ненадійними вже рік, і ніхто не скаже, коли саме вони перестали бути вартими довіри. Ремонт триває довше за поломку, бо довіра до показника здобувається заднім числом: її дає лише низка місяців, у які показник і дійсність збігалися.

Найжорстокіше тут — час, і саме тому цьому так важко опиратися. Перший квартал зазвичай справді добрий. Дешеві шляхи до числа ще не вичерпані, запас у системі — справжній запас, і показник рухається. Другий ще кращий, і на цей момент зростання вже читають як доказ, що ціль була правильна, — тож тиск не ставлять під сумнів, а посилюють. Рахунок приходить наступного року: дешеві шляхи вичерпано, показник уже давно нічому не відповідає, і ніхто не скаже, які з останніх шести кварталів були справжніми. Наскільки погано — залежить від того, якою часткою бізнесу керували цим одним числом. Для компанії, яка не керувала нічим іншим, на цьому все й закінчується.

• Зір компанії — це відповідність між її показниками і світом.
• Ціль перетворює відповідність на важіль, а важіль не прочитаєш.
• Ставить одна людина; оптимізують сотні, кожен своїм найдешевшим шляхом.
• Спершу настає сліпота, а шкода для бізнесу приходить пізніше — тому її й помічають запізно.

06Приклад, який триває просто зараз

Витрати на персонал корелювали з чимось справжнім — зі спроможністю компанії робити роботу. Щойно ціллю стало «скоротити фонд оплати праці за допомогою ШІ», кореляція розірвалася. Число витрат падає чесно, і звіт не бреше — але воно більше не описує спроможність. Воно описує зусилля, витрачені на її скорочення.

Перший квартал справді добрий, і це не ілюзія. У кожній організації є справжній запас: робота, яку варто було автоматизувати ще п'ять років тому. Дешеві шляхи існують, ними йдуть, і показник рухається зі слушних причин. Другий квартал ще кращий, бо перший прочитали як доказ правильності курсу й тиск посилили. Далі дешеві шляхи закінчуються, а тиск — ні.

Потім ріжуть уже не виконання завдань. Ріжуть людей, які тримали контекст: чому воно влаштовано саме так, що вже пробували й чому не спрацювало, хто в цьому ринку насправді вирішує, де закінчується дія правила. Нічого з цього немає в тікеті, бо це не робота — це осад із десятиліття невдач, при яких модель не була присутня. Модель чудово робить те, що вже сформульоване. Вона не помічає, що питання поставлене не те, і ніколи не прийде сама сказати, що ринок поїхав пів року тому. Компанія, яка втратила цих людей, і далі виконує попередню стратегію бездоганно й дешево — саме тому вона й не помічає, що стратегія мертва.

Втрата проявляється не обвалом. Вона проявляється тишею: нових напрямків не з'являється, продукт живе тим, що вже мав, кожен квартал схожий на попередній — а конкурент, який цих людей зберіг, опиняється в ніші, куди ніхто не бачив, як він заходив.

• Витрати на персонал були замінником спроможності. Ставши ціллю, вони вимірюють лише зусилля їх скоротити.
• Перші два квартали справді добрі, бо запас справжній — і це читають як підтвердження правоти.
• Наступним ріжуть контекст: незаписане знання, завдяки якому компанія помічає, що її стратегія застаріла.
• «Ця робота більше не потребує людини» — рішення про роботу. «Мінус 30% фонду до грудня» — рішення про число. Через два квартали ззовні вони не відрізняються.

07Як утримати показник чесним

Закон не проти вимірювання. Він проти одного-єдиного числа — а KPI зазвичай саме ним і є. Один показник, на який спираються, — це рівно той випадок, який описав Гудгарт: одна закономірність під тиском керування, яка руйнується.

Виживає кошик показників, кожен з яких неточний і які мають рухатися разом. Жоден із них не є істиною; сигналом є їхня узгодженість, а тривогою — розбіжність. Якщо за квартал угору повзуть і частка цитувань, і перехідний трафік, і брендові запити, і читачі, які повертаються, — швидше за все, відбувається щось справжнє. Якщо частка цитувань іде вгору сама, а решта три стоять, — не відбувається нічого, і ви це помітили рано. Такої перевірки жодне окреме число зробити не може, а коштує вона нічого: усі чотири ви й так збираєте.

І читайте тренд, а не рівень. Рівень — це ціль, яка чекає нагоди; напрямок за кілька місяців підробити значно важче, бо для цього довелося б тримати в ногу чотири частково незалежні показники, а це дорожче, ніж зробити роботу.

• Керуйте кошиком, а не одним числом. Їхня узгодженість — сигнал; день, коли вони перестали збігатися, — і є знахідка.
• Читайте напрямок за місяці, а не рівень на дату. Рівень — це ціль, яка чекає нагоди.
• Тримайте один показник поза дошкою. Керуйте тими, що публікуєте, і звіряйте їх із тим, за який нікого не преміюють і якого ніхто не бачить.
• Іноді вимірюйте саму суть, навіть коли це дорого: читайте відповіді, питайте клієнтів, дивіться на сторінки.
• Обирайте показник, який дорого підробити. Одне цитування з джерела, якому є що втрачати, варте десяти з тих, кому немає.
• Перевіряйте приріст, а не рух: число зросло тому, що змінилася суть, чи тому, що увага перемістилася на число?
• Міняйте те, чим керуєте. Замінник, який був ціллю два роки, вже зіпсований.
• Записуйте, що саме заступає цей показник. Коли показник відпливає, першою втрачається пам'ять про те, навіщо він був.

08Розібраний приклад

Команді ставлять завдання підняти частку цитувань у відповідях асистентів із 8% до 20% за квартал. Відкриті два шляхи.

Чесний — опублікувати роботу, варту цитування: власні виміри, метод, який можна перевірити, твердження, яке є правдою. На це піде більша частина кварталу, а на те, щоб її підхопили, — більша частина наступного. Частка цитувань наприкінці кварталу: може, 11%.

Прямий — випустити сорок майже однакових сторінок, підігнаних під формулювання, які витягують асистенти, розкласти їх по власних доменах і зацитувати одну з одної. Частка наприкінці кварталу: 22%. Ціль виконано, премію виплачено.

За рік сторінки другої команди не цитує ніхто поза їхнім власним колом, постачальники асистентів урахували саме цей взірець, і число впало нижче за те, з якого починали, — а одинадцять відсотків першої команди відтоді тільки накопичувалися, бо були зроблені із суті, а не з показника. На панелі обидва квартали виглядали як успіх. Успіхом був один.

Поширені запитання

Пов'язані терміни

Ще в розділі «Вимірювання»