חברו את OpenTG ל-ChatGPT או ל-Claude תוך 60 שניות

נסו אותו

MaxxBench - “DeepSWE 점수는 좋네요.

GeekNews

GeekNews

@GeekNewsHada

GeekNews 공식 텔레그램 채널입니다. GeekNews 에 올라오는 주요 뉴스를 자동으로 전송합니다. 더 많은 뉴스를 위해서는 긱뉴스를 방문해 주세요. https://news.hada.io 긱뉴스 위클리 뉴스레터를 구독하시면 매주 월요일 아침에 이메일로 주요 뉴스를 받아보실수 있습니다. https://news.hada.io/weekly

2,468 מנויים
פתח בטלגרם
MaxxBench - “DeepSWE 점수는 좋네요. 그런데 진짜인가요?”

- MaxxBench는 코딩 벤치마크 DeepSWE의 과제 89개를 조금씩 바꿔, 에이전트가 익숙한 정답 대신 달라진 작업에 적응하는지 평가함. 테스트 보고서 파일명을 소문자로 바꾸는 식
- 참조 패치는 17줄(3.5%) 늘었지만, DeepSWE 공개 점수가 둘 다 약 74%였던 Claude Opus 5.5와 Gemini 3.8 Flash는 MaxxBench에서 각각 76.4%와 53.4% 를 기록함
- 일부 에이전트는 명시된 요구사항을 이해하고도 숨겨진 테스트에 나올 법한 동작을 택함. 예를 들어 큰 정수의 정밀도가 깨지는 걸 알면서도 테스트에 나오지 않을 것으로 보고 그대로 구현함 …

https://news.hada.io/topic?id=36780
פתח את הפוסט בטלגרם