Збереження підготовлених запитів у кеші для швидкого підключення до нових запитів без повторного обчислення.
Що це таке і як працює
Коли модель генерує векторне представлення (embedding) для запиту, це представлення можна записати в кеш. При наступному запиті, якщо частина запиту збігається з кешованим, система підтягує готове embedding замість повторного обчислення. Це знижує затримку і вартість, бо обчислення embedding часто є найдорожчою частиною процесу. Кеш зазвичай прив’язується до ідентифікатора запиту або хешу його тексту.
Зберігаємо запит у кеші і повторно використовуємо його.
Що робити цього тижня
- Визначте часто вживані шаблони запитів у вашій маркетинговій стратегії.
- Налаштуйте у вашій інтеграції OpenAI параметр
prompt_cacheзгідно документації. - Створіть процес оновлення кешу разом із оновленням контенту, щоб уникнути застарілих векторів.
Як помітити і виміряти
У логах API ви побачите поле cached або cache_hit. Якщо значення true, запит використав кеш. Для вимірювання ефективності підрахуйте відсоток cache_hit за тиждень і порівняйте середню латентність запитів з та без кешу.
Типові помилки
- Не зберігайте кеш для запитів, які часто змінюються – це призведе до низького відсотка попадань.
- Не забувайте інвалідовувати кеш після оновлення схеми даних, інакше результати можуть бути неактуальними.
- Не використовуйте один і той самий кеш для різних моделей – векторні простори несумісні.
Обмеження
Prompt Caching працює лише для запитів, які перетворюються у векторне представлення. Він не застосовується до чисто текстових відповідей без embedding. Також кеш не допомагає, коли модель змінює свою архітектуру або параметри, бо векторний простір змінюється.
Приклад
"У нашій рекламній кампанії ми кешували запит ‘найкращі смартфони 2024’; наступного разу, коли користувач ввів ‘топ смартфони 2024’, система використала той самий embedding і відповідь з’явилася на 300 мс швидше."
Поширені запитання
Чим Prompt Caching відрізняється від звичайного кешування відповідей API?
Зазвичай Prompt Caching зберігає лише векторне представлення запиту, а не всю відповідь. Це дозволяє швидко підключати готові embeddings до нових запитів без повторного обчислення. У звичайному кешуванні зберігаються повні відповіді, що займає більше пам’яті і не підходить для динамічних запитів.
Чи варто вмикати Prompt Caching для всіх запитів чи лише для тих, що часто повторюються?
Залежить від навантаження та вартості обчислень. Якщо у вас багато повторюваних запитів, включення Prompt Caching зменшить час обробки і витрати. Для унікальних або одноразових запитів кешування може бути зайвим.
Як саме зберігаються і витягуються embeddings у Prompt Caching?
Коли модель генерує embedding, він записується у кеш з ключем, що відповідає хешу запиту. При новому запиті система перевіряє, чи існує відповідний ключ, і якщо так — витягує embedding замість повторного обчислення. Управління кешем здійснюється через API‑параметри, такі як cache_ttl.
Чи продовжує Prompt Caching працювати після оновлення версії моделі?
Зазвичай ні, оскільки нова модель може генерувати інші embeddings для того ж запиту. Після оновлення слід очистити кеш або встановити новий простір імен, щоб уникнути невідповідностей. Інакше можна отримати неправильні результати.
Що може зламатися, якщо кешовані embeddings застаріли, і як це помітити?
Якщо кеш містить застарілі дані, нові запити можуть повернути неточні або неактуальні результати. Це можна помітити за різницею у полі cache_hit у логах API та незвичними відхиленнями в метриках релевантності. Регулярне оновлення TTL кешу допомагає запобігти такій проблемі.
Через який час після ввімкнення Prompt Caching з’являться перші cache‑hit у логах?
Зазвичай це відбувається вже після кількох повторних запитів, що мають однаковий текст. Перший cache‑hit може з’явитися через 1‑2 хвилини, якщо запити надходять часто. Поки кеш не заповниться, у логах будуть лише cache_miss.
Як про це питають уголос
сказане, не набранеТой самий термін словами, якими про нього питають асистента, а не набирають у рядку пошуку — написано із ситуації, тому кожне питання несе ту ситуацію, з якої виникло.
Так, ви можете перевірити поле cached у відповіді API – воно покаже, чи був використаний кеш. Якщо значення true, то embedding був взятий з кешу, і запит обробився швидше.
Зазвичай так, позначка cached вказує, що embedding був знайдений у кеші і не потребував повторного обчислення. Перевірте, чи співпадає кількість таких позначок із очікуваною частотою повторень запитів.
Зазвичай варто подивитися на час останнього оновлення кешу через параметр TTL і переконатися, що він не перевищений. Якщо TTL закінчився, кеш автоматично очиститься, і нові embeddings будуть згенеровані заново. Це допоможе уникнути помилок у фінальному документі.