최신 AI 모델들, 인간의 알고리듬 혁신에 필적하는 성과를 내는 데 어려움 겪어 - Epoch AI의 InnovationEval은 AI가 아이디어 구상부터 구현, 실험과 분석까지

GeekNews

GeekNews

@GeekNewsHada

GeekNews 공식 텔레그램 채널입니다. GeekNews 에 올라오는 주요 뉴스를 자동으로 전송합니다. 더 많은 뉴스를 위해서는 긱뉴스를 방문해 주세요. https://news.hada.io 긱뉴스 위클리 뉴스레터를 구독하시면 매주 월요일 아침에 이메일로 주요 뉴스를 받아보실수 있습니다. https://news.hada.io/weekly

2 425 підписників
Відкрити в Telegram
최신 AI 모델들, 인간의 알고리듬 혁신에 필적하는 성과를 내는 데 어려움 겪어

- Epoch AI의 InnovationEval은 AI가 아이디어 구상부터 구현, 실험과 분석까지 수행해 인간이 개발한 후속 학습 기법 SDPO에 필적하는 새로운 방법을 만들 수 있는지 검증
- Claude Fable 5와 GPT-5.6 Sol에 평가당 3,000 GPU시간과 100억 토큰을 허용하고, Qwen3-8B를 학습해 단답형 문제와 코딩 양쪽에서 기존 GRPO보다 나은 성과를 내도록 요구
- 최고 실행 선택과 허용 범위 밖 변경을 보정한 점수는 Fable 5가 2%, Sol이 15% 에 그침. GRPO를 0%, SDPO를 100%로 둔 개선 달성률이며, Sol의 방법도 기존 연구와 유사
- 두 …

https://news.hada.io/topic?id=35195
Відкрити пост в Telegram