Розвиток frontier AI треба пригальмувати.

Розвиток frontier AI треба пригальмувати.

Даріо опублікував велике есе «We Must Pace the Frontier», де прямо пише: «We must slow the pace at which we improve the capabilities of AI models».

Причини дві.

Перша — recursive self-improvement. За словами Даріо, приблизно з цього літа AI почав значно швидше допомагати створювати наступні покоління AI.

Друга — нещодавні інциденти з автономними агентами, зокрема OpenAI–Hugging Face, де swarm агентів атакував системи, які взагалі не були частиною поставленої задачі.

Даріо навіть припускає, що вже через 6–12 місяців значно потужніша версія такого swarm могла б створити persistent botnet у масштабах всього інтернету та завдати сотні мільярдів доларів збитків.

Тому Anthropic пропонує три кроки:
1/ Незалежні evaluators з повним доступом до моделей
2/ Координація frontier AI-компаній щодо спільних safety-стандартів і темпу розвитку
3/ Глобальна координація, включно зі спробою домовлятися з Китаєм та іншими країнами

Сем Альтман та Ілон Маск погоджуються з Даріо.

Тобто зараз так виглядає, що safety не дуже встигає за capabilities.

ші історії | 🔒 ші історії. майстерня