Волатильність відповідей AI

Щоденна міра того, наскільки відповіді AI-асистентів змінилися від одного дня до наступного. Вона рахується так: ті самі питання щодня ставляться тим самим асистентам, і кожна відповідь порівнюється з учорашньою — які джерела процитовано, чи названо бренд і наскільки зсунулась його позиція. Шкала 0–100, більшість днів сидить між 5 і 12.

Трекер видачі міряє, наскільки зсунулися ранжовані результати. Це міряє, наскільки зсунулися згенеровані відповіді, а це інше: у відповіді немає позицій, якими можна помінятися, тож змінюється те, на які джерела вона спирається і кого називає. Ці дві речі можуть рухатися незалежно — видача буває стабільною тоді, коли асистенти, які її переказують, ні.

Ні. Зчитування — це поле, а не ваш бренд, і воно без напрямку: рахує рух, не кажучи, в який бік. Що воно справді означає — одноденна зміна ваших власних чисел цього дня є слабшим доказом, ніж зазвичай, бо відповіді навколо вас теж рухалися.

Бо модель перефразовує себе щоразу, як її питають. Це температура вибірки, а не волатильність, і облік цього тримав би лінію на максимумі щодня. Рахуються лише зміни, які читач назве іншою відповіддю.

Раз на добу. Перевірки за ним ідуть безперервно, а зчитування дня рахується, коли день завершений. Сторінка вказує, скільки порівнянь дало кожну точку.

Ті, до яких ідуть наші перевірки, зведені в одну лінію. Число навмисно не розбите по асистентах: розбивка за вендорами провокує читати примху однієї моделі як тенденцію, а питання цієї сторінки — чи зрушило поле.

Бо їх зміряно на надто малій кількості порівнянь, щоб вони мали вагу. Зчитування 14 із тридцяти порівнянь — це вибірка, а не сплеск, тож воно публікується разом зі своїм лічильником і лишається поза лінією, а не малюється як подія, що сталася.