모델별로 가장 좋은 하네스는 무엇일까?
- FrontierHarness Eval v1.1이 22개 하네스 구성과 5개 모델을 비교한 결과, 비용 대비 성능이 가장 좋은 하네스는 모델마다 달랐음
- GLM-5.3과 Codex CLI 조합은 뚜렷한 우위를 보였지만, 나머지 4개 모델에서는 최적 후보와 경쟁 후보 간 결과가 근접함
- 같은 모델에서도 하네스에 따라 작업당 비용이 1.8~5.0배 차이 났으며, 더 비싼 하네스가 더 높은 통과율을 보장하지 않았음
- 작업을 해결할 때까지 거치는 실행 단계가 많을수록 통과당 비용도 높아지는 경향이 나타남. 매 단계 전체 문맥을 다시 보내므로, 초기 프롬…
https://news.hada.io/topic?id=37362
모델별로 가장 좋은 하네스는 무엇일까? - FrontierHarness Eval v1.
GeekNews
@GeekNewsHadaGeekNews 공식 텔레그램 채널입니다. GeekNews 에 올라오는 주요 뉴스를 자동으로 전송합니다. 더 많은 뉴스를 위해서는 긱뉴스를 방문해 주세요. https://news.hada.io 긱뉴스 위클리 뉴스레터를 구독하시면 매주 월요일 아침에 이메일로 주요 뉴스를 받아보실수 있습니다. https://news.hada.io/weekly
2,468 מנויים
פתח בטלגרם