Model Drift

Model drift — це не одноразова подія; це поступове розходження між даними, на яких навчалася ваша AI-модель, та даними, з якими вона стикається в реальному пошуковому трафіку. Слід розуміти два основні механізми. По-перше, це Data Drift, що означає зміну самих вхідних ознак. Наприклад, якщо раніше 80% запитів містили слово «найкращий», а тепер використовуються лише конкретні назви товарів, то розподіл ключових слів змінився. По-друге, і це часто складніше, — це Concept Drift. Це стається, коли змінюється зв'язок між вхідними даними та бажаним результатом. Значення запиту може залишатися схожим (наприклад, «як полагодити кран, що протікає»), але фактичне рішення або необхідний контекст кардинально змінюються через нові будівельні норми або наявність товарів. Модель помиляється, бо припускає, що старі зв'язки все ще дійсні.

Коли виникає підозра на Model Drift, першочергові дії зосереджені на зборі нового контексту та коригуванні обсягу вхідних даних моделі. По-перше, проаналізуйте журнали запитів на предмет раптових змін у популярних темах або термінології — це допоможе зрозуміти, що саме змінилося. По-друге, проведіть цілеспрямовані ручні аудити результатів пошуку, які мають низькі показники (низький CTR попри велику кількість показів). Ці запити, що не дають результату, є конкретними прикладами concept drift. По-третє, підготуйте план включення цих нових даних у наступний цикл перенавчання моделі. Не намагайтеся виправити модель швидкими тимчасовими рішеннями; натомість зафіксуйте спостережувані зміни та надайте пріоритет збору достатньої кількості різноманітних реальних прикладів даних, які відображають поточні наміри користувачів.

Виявлення потребує одночасного моніторингу багатьох векторів. Ви повинні відстежувати два основні типи метрик. Перший — це Feature Distribution Monitoring. Це передбачає порівняння статистичного розподілу (середнє значення, дисперсія, частота) ключових вхідних ознак вашого живого трафіку з базовими даними, використаними під час навчання. Якщо розподіл ознаки суттєво відхиляється — наприклад, якщо середня довжина запиту раптово падає на 20% — це сигналізує про потенційний data drift. Другий — це Performance Degradation Monitoring. Це потребує наявних даних про реальні результати (ground truth). Ви відстежуєте такі метрики, як показник клікабельності (CTR) та час на сторінці для конкретних кластерів результатів. Постійне зниження цих метрик без відповідних змін у поведінці користувачів або структурі сайту вказує на те, що розуміння моделі змістилося.

Усунення drift — це складний процес, що потребує методичних кроків. Маркетологи часто роблять припущення, які призводять до неправильних спроб виправлення ситуації.

• warn — Припущення, що проблема полягає у поганому prompt engineering, коли насправді має місце системна зміна даних. Drift — це обмеження моделі, а не просто помилка в інструкціях.
• warn — Перенавчання виключно на нещодавніх даних без урахування історичного контексту. Це може спричинити catastrophic forgetting, коли модель втрачає знання про старі, але все ще актуальні закономірності.
• warn — Ігнорування змін у посиланнях на джерела. Якщо основний конкурент оновлює структуру свого сайту або контент-стратегію, ландшафт пошуку змінюється незалежно від ваших внутрішніх моделей.

Розглянемо бренд, який продає фітнес-обладнання. Коли модель проходила навчання, запити були зосереджені переважно на «тренуваннях у залі» та «піднятті ваг». Під час непередбачуваної глобальної події пошуковий трафік різко змінився. Раптом топовими запитами стали «домашні тренування без обладнання» або «безпечні вправи при обмеженій мобільності». Модель продовжує надавати пріоритет результатам, оптимізованим для залів, оскільки її навчальні дані застаріли. Model Drift очевидний: концепція фітнесу змінилася від структурованого середовища до домашньої необхідності. Успішне втручання потребує перенавчання на новому, масовому кластері запитів про «домашні» тренування.

Помилка моделі полягала не в її коді, а в припущенні, що зв'язок між «фітнесом» та «спортивним обладнанням» залишається незмінним протягом часу.

Той самий термін словами, якими про нього питають асистента, а не набирають у рядку пошуку — написано із ситуації, тому кожне питання несе ту ситуацію, з якої виникло.

• Google Search Central Documentation