Anthropic тепер додаватимуть невидиму вотермарку в увесь текст від Claude.

Anthropic тепер додаватимуть невидиму вотермарку в увесь текст від Claude. Тригером стала стаття 50 AI Act в ЄС. Розкатали на весь світ.
⠀
Причому помічається весь текст, незалежно, чи він був повністю написаний клодом, чи тільки відредагований. Публічної перевірки поки що немає. Як і у SynthID від гугла.
⠀
Як воно приблизно може працювати
⠀
Модель обирає слова за хешованим ключем. Наприклад, потрібно дописати фразу Це був … день. На місце пропуску є чотири кандидати: гарний, хороший, чудовий і приємний. Секретний ключ, а це просто список з двадцяти-тридцяти випадкових чисел, разом з кількома попередніми словами дає одне число, і воно роздає кожному кандидату 0 або 1. За інших рівних турнір віддає перемогу слову з одиницею, і в текст іде гарний.
⠀
Підмінити слово помітка не може. Якщо після слів пішов на модель майже впевнена, що далі буде роботу, то серед кандидатів раз за разом витягається саме роботу, воно грає саме проти себе і виграє з будь-яким значенням. Помітка живе тільки на розвилках, де моделі байдуже, який з варіантів узяти. Тому в сухих фактологічних відповідях вона буде слабкою.
⠀
Як теоретично цьому протистояти
⠀
У SynthID найкраще збиває вотермарку переклад туди-назад через іншу мову і розбавляння великим шматком людського тексту. Заміна синонімами не працює. Дослідники з ETH Zurich ще на попередньому поколінні схем за $50 навчилися і знімати помітку, і підробляти її в чистому людському тексті, щоб підставити автора.
⠀
Детальніше в статті, там же схема, як воно влаштоване всередині, або одразу в довідці Anthropic.