📌Anthropic прискорила Claude Code на 35% завдяки новому механізму історії діалогу

📌Anthropic прискорила Claude Code на 35% завдяки новому механізму історії діалогу

Anthropic запустила Message Threads — функцію Claude API, яка прискорює роботу ШІ-агентів із довгими діалогами. Тепер замість повторного надсилання всієї історії запитів передається лише нова частина розмови.
ㅤ
🔆Детальніше
ㅤ
• Раніше кожен запит містив усю історію: повідомлення, відповіді моделі та результати роботи інструментів. У великих сесіях це могло сягати мільйона токенів.
ㅤ
• Тепер повний контекст надсилається лише під час створення потоку. У наступних запитах агент передає нові повідомлення та ідентифікатор попередньої відповіді.
ㅤ
• За даними Anthropic, у Claude Code для запитів із контекстом 500–1000 тисяч токенів медіанний час до першого токена скоротився приблизно на 35%.
ㅤ
• Claude і надалі враховує всю історію розмови. Кількість оплачуваних токенів і вартість запитів не змінюються — скорочується обсяг даних, які потрібно повторно передавати й обробляти перед відповіддю.
ㅤ
• Історія зберігається в зашифрованій оперативній пам’яті сервера. Після 5 хвилин бездіяльності потік завершується, і агент може створити його заново, надіславши повний контекст.
ㅤ
Message Threads доступний у публічній бета-версії через Claude API, AWS, Google Cloud та Microsoft Foundry.

➡️Детальніше тут.

➡️Запроси друга до НейроЄнота🦝