같은 모델, 다른 결과
- 같은 AI 모델이라도 실제로 돌려주는 추론 업체는 제각각입니다. 몰래 작은 버전을 돌리거나 툴 호출이 깨지는 곳도 있는데, 유저 입장에선 모델 이름이 같으니 알아차리기 어렵습니다
- gpt-oss-120b 동일 모델인데 업체별 점수 36.7% ~ 93.3%
- 189곳 4개월 추적 → 모델이 바뀐 사례 29~37건 발견
미라의 해답, Sterling
- 서빙 업체를 실제 쿼리로 사전 테스트
- 검증 통과한 업체로만 자동 라우팅
- 모델 진위·툴 사용·max_tokens·컨텍스트 길이 등 점수와 근거 전부 공개
- 출시 기념 주요 모델 최대 50% 할인
검증 점수 l 관련 공지
이제는 어떤 AI냐 만큼 어디서 돌리냐도 중요해진거 같네요. 다만 스털링은 누가 검증하냐는 숙제는 남아 있고 아직 베타라 지켜볼 부분도 있습니다 #KOL
