Chain of Thought

CoT працює шляхом додавання у промпт чіткої підказки — часто це коротке речення на кшталт "Let's think step by step" — у саму структуру запиту. Потім модель генерує серію проміжних тверджень, які утворюють логічний ланцюжок, перш ніж видати остаточний результат. Кожен проміжний токен розглядається як частина відповіді, тому модель може коригувати себе в процесі. Було доведено, що такий додатковий рівень міркувань підвищує точність у багатоетапних завданнях, таких як арифметичні обчислення, логічні головоломки та генерація коду.

Починайте використовувати CoT у будь-якому запиті, що потребує більше одного етапу міркування. Step 1: Додайте чітку вказівку (наприклад, "Think through the problem step by step.") наприкінці запиту користувача. Step 2: Якщо модель зупиняється занадто рано, збільште ліміт максимальної кількості токенів або додайте нагадування на кшталт "Continue the reasoning." Step 3: Перевірте проміжні кроки на повноту, перш ніж довіряти фінальній відповіді. Step 4: Зберігайте повну відповідь у логах, щоб пізніше порівняти точність із результатами без CoT.

Ви можете розпізнати вивід CoT, шукаючи кілька коротких речень, кожне з яких містить частину рішення. У логах кількість токенів буде вищою, ніж у звичайній відповіді. Щоб виміряти вплив, проведіть A/B тест: один набір запитів із вказівкою CoT, інший — без неї. Порівняйте правильність фінальних відповідей і зафіксуйте будь-яке зменшення кількості галюцинацій. Інструменти, що витягують етапи міркування (наприклад, regex для "Step \d+:"), полегшують автоматичне оцінювання.

• Припущення, що модель згенерує Chain of Thought без чіткої вказівки.
• Використання занадто розмитої вказівки, наприклад, просто "Explain" без запиту на покрокове виконання.
• Оцінювання лише останнього речення та ігнорування помилок у проміжних кроках.
• Встановлення такого ліміту максимальної кількості токенів, який перериває процес міркування.

CoT додає затримку, оскільки модель генерує більше токенів. Він найкраще працює з моделями, які мають сильні здібності до логічного мислення; старіші або менші моделі можуть створювати поверхневі або нерелевантні кроки. Ця техніка не допомагає при чистому відтворенні фактів, де не потрібне логічне мислення. Її часто плутають із self‑consistency (семплінг кількох ланцюгів CoT та голосування) або з few‑shot prompting, які є окремими стратегіями.

"Q: Потяг їде зі швидкістю 60 миль на годину протягом 3 годин, потім 40 миль на годину протягом 2 годин. Яка загальна відстань?
A: Давайте думати крок за кроком.
Крок 1: Відстань у першому сегменті = 60 миль/год × 3 год = 180 миль.
Крок 2: Відстань у другому сегменті = 40 миль/год × 2 год = 80 миль.
Крок 3: Загальна відстань = 180 миль + 80 миль = 260 миль.
Відповідь: 260 миль."

Той самий термін словами, якими про нього питають асистента, а не набирають у рядку пошуку — написано із ситуації, тому кожне питання несе ту ситуацію, з якої виникло.

• OpenAI documentation
• Wikidata — Q2888844