텍스트 모델 139개 중 클로드·GPT·제미나이 45개가 전부 anonymized입니다.
가려지는 건 보낸 사람뿐이고, 내용은 원래 회사가 그대로 봅니다.
그래서 베니스에서 모델 43개로 일 10종, 실험 57건을 4.29달러에 직접 돌려 봤습니다.
돌려 보고 알게 된 것
1. 같은 10점 문서 Q&A가 0.0024달러와 0.0973달러, 40배 차이
2. 제일 싼 코드 모델이 DIEM 원가를 1,670만 달러로 계산, 실행 전엔 멀쩡해 보였음
3. 0.0004달러 리뷰 모델이 놓친 버그 하나가 하필 API 키를 화면에 찍는 줄
DIEM은 이렇게 계산됐습니다
· 민팅 원가 9,687달러 vs 시장가 1,724달러, 사는 쪽이 5.6배 쌈
· 사더라도 하루 크레딧의 28.3%를 못 쓰면 VVV 스테이킹(연 6%)보다 손해
민감한 자료는 private 모델에만, 정답이 정해진 일은 싼 모델에 보냅니다.
DIEM은 매일 쓰는 만큼만 삽니다.
전문은 블로그에 정리했습니다.
https://blog.naver.com/coinmage/224464719047
교육용 정보이며 투자 권유가 아닙니다.