01Що це таке та як це працює
Коли LLM обробляє контент, вона може опрацювати лише обмежену кількість токенів за один запит. Chunking розбиває джерело — наприклад, допис у блозі, PDF-файл або каталог товарів — на перекривальні або окремі фрагменти, кожен з яких не перевищує ліміт токенів. Кожен фрагмент індексується окремо, що зберігає контекстне вікно та дозволяє моделі зіставляти запити з найбільш релевантним шматком, а не сканувати весь документ одразу.
Chunking означає розбиття великого тексту на менші частини.
02Що з цим робити
Почніть з аудиту активів вашого бренду. Визначте будь-які файли, що перевищують ліміт токенів моделі (наприклад, 8 000 токенів для GPT-4). Потім:
- Використовуйте скрипт або інструмент, щоб розділити PDF та HTML-сторінки за природними межами, такими як заголовки або закінчення абзаців.
- Додайте 10–20% перекриття між фрагментами, щоб ключові фрази не втрачалися на межах розділів.
- Додайте до кожного фрагмента метадані (URL-адресу джерела, дату, назву розділу) перед тим, як передати його в конвеєр індексації.
03Як це вимірюється або помічається
У нашому дашборді AI-пошуку Chunking відображається як кількість індексованих фрагментів на один джерело. Раптове зниження «середньої довжини фрагмента» або зростання «помилок ліміту токенів» свідчить про те, що чанки занадто великі. Навпаки, незвичайно висока кількість дуже коротких фрагментів може вказувати на надмірне розбиття, що може знизити показники релевантності.
04Поширені помилки
- Розбиття посеред речення, що створює фрагменти, які втрачають зміст.
- Використання фіксованої кількості символів без урахування відмінностей у токенізації між різними мовами.
- Ігнорування перекриття тексту, що призводить до втрати контексту для запитів, які охоплюють межі чанків.
05Обмеження та плутанина
Chunking не замінює належне резюмування контенту; він лише реструктуризує наявний текст. Він також відрізняється від semantic segmentation, яка групує контент за змістом, а не за кількістю токенів. Якщо документ уже достатньо короткий, щоб поміститися в межах вікна моделі, chunking не приносить користі та може навіть погіршити продуктивність, створюючи зайві збіги.
06Практичний приклад
«Ми розділили whitepaper на 12 000 слів на 5-сторінкові чанки з перекриттям у 150 слів. Після повторного індексування ШІ видав саме той абзац про наш новий показник сталого розвитку, коли користувач запитав: „Які останні еко-цілі?“»
Запис вище написаний GetLoopLoop. Нижче — те, що про цей самий термін тримають незалежні каталоги. Жодне з цього не є джерелом цієї сторінки.
- Частина
- психологічна термінологія
Той самий термін у Вікіпедії
Каталогізовано 11 мовами07Поширені запитання
Чим chunking відрізняється від резюмування контенту мого бренду?
Зазвичай, Chunking розбиває документ на менші секції з обмеженням за кількістю токенів, не змінюючи оригінальні формулювання, тоді як резюмування створює коротшу версію, що стискає зміст. Chunking зберігає кожне речення цілісним, щоб ШІ міг шукати точні фрази. Резюме може втрачати нюанси, які необхідні для пошуку.
Чи варто застосовувати Chunking до всіх активів мого бренду чи лише до найдовших?
Це залежить від розміру активу та лімітів токенів моделі, яку ви використовуєте. Для документів, що перевищують максимальну кількість токенів моделі, Chunking є обов'язковим; коротші об'єкти можна індексувати цілісно. Почніть з аудиту ваших активів і застосовуйте Chunking лише до тих, які інакше будуть обрізані.
Який фактичний процес Chunking документа на нашій платформі ШІ-пошуку?
Так, платформа автоматично розділяє файл на уривки, що вписуються в ліміт токенів моделі, зазвичай використовуючи межі абзаців або речень. Ви можете налаштувати розмір Chunk та перекриття в налаштуваннях завантаження, і система створює окремі індексовані уривки для кожного Chunk. Ручне редагування тексту не потрібне, якщо тільки ви не хочете налаштувати власні межі.
Чи покращує Chunking релевантність у найновіших великих мовних моделях?
Зазвичай так, тому що навіть найновіші моделі мають жорсткі ліміти токенів на один запит. Chunking гарантує, що кожна частина вашого контенту буде доступна в межах цих лімітів, зберігаючи релевантність. Якщо модель може обробляти довші вхідні дані, перевага може бути меншою, але вона не зникає.
Які проблеми виникають, якщо chunk розриває речення або абзац?
Ні, розрив речень може призвести до фрагментації контексту, через що ШІ невірно інтерпретує значення або пропускає ключові терміни. Ви помітите нижчі показники релевантності та більше помилково позитивних збігів у панелі приладів. Використання природних точок розриву, як-от кінець абзацу, дозволяє уникнути цієї проблеми.
Як довго після завантаження документа фрагментовані уривки з'являтимуться в панелі приладів?
Зазвичай конвеєру збору даних потрібно кілька хвилин, щоб обробити та проіндексувати чанки. Ви можете відстежувати показник «indexed passages per source», щоб побачити, коли кількість стабілізується. До того часу пошук може видавати неповні результати.
08Як про це питають уголос
Той самий термін словами, якими про нього питають асистента, а не набирають у рядку пошуку — написано із ситуації, тому кожне питання несе ту ситуацію, з якої виникло.
Так, ШІ зможе знайти його, якщо звіт був розбитий на чанки, оскільки кожен абзац стає проіндексованим уривком, який модель може шукати окремо. Просто запитайте про тему, і система знайде саме той chunk, що містить потрібний абзац.
Зазвичай ви можете запитати інформацію у ШІ напряму, і якщо документ був розбитий на Chunking, він знайде відповідний уривок без необхідності прокручування. Відповідь міститиме потрібний фрагмент, що позбавить вас необхідності шукати його вручну.
Це залежить від обставин, але якщо пропозиція була розбита на Chunking під час завантаження, ви можете запитати у ШІ цей пункт, описавши його зміст, і він знайде саме цей Chunk для вас. Це дозволить вам миттєво відповісти клієнту, не переглядаючи весь документ.
Подивіться в GLLmolfar
Карта сторінки в GLLmolfar показує, що ШІ-ретривер бере зі сторінки в порядку читання: які блоки цитуються, які читаються як слабкі фрагменти, а які випадають за межу перших 26 фрагментів.
Як працює цей екран (англійською)Про GLLmolfar, наш десктопний краулер