* Dean W. Ball(OpenAI 미래전략팀 head)
증류(distillation)는 중국이 모델 벤치마크 성능에서 미국에 바짝 뒤처진 이유에 대한 설명의 일부로 항상 언급되어 왔다. 하지만 OpenAI에 합류한 후의 내 업데이트 중 하나는, 증류가 내가 생각했던 것보다 그 설명에서 훨씬 더 큰 역할을 할 가능성이 있다는 점이다.
이 얘기를 공개적으로는 별로 하지 않았다. 사람들이 “어휴, 너는 그냥 … 때문에 그렇게 말하는 거잖아” 같은 뻔한 정신승리성 반응을 마치 다음 토큰을 예측하듯 자동으로 쏟아낼 게 뻔해서다. 하지만 그걸 좋게 보든 나쁘게 보든, 정말 사실이다.
오픈AI 내부에서 확인할 수 있는 정보들을 접하기 전에는, 중국 AI 모델들이 선두를 바짝 따라붙는 현상의 약 30%가 증류로 설명될 것이라고 추측했을 것이다. 그런데 내부 정보를 보고 난 뒤에는, 그 비중이 50%에 더 가깝다고 생각하게 됐다.
https://x.com/deanwball/status/2111802400625311917
* Dean W.
카이에 de market
@cahier_de_market- 전직 헤지펀드 매니저 - 세상을 변화시키는 핵심 사건, 핵심 기업을 공부하고 주관적 생각과 투자방향을 적는 노트 - 터무니없이 틀릴 수도 있으니 주의 - 매수와 매도 의사결정의 책임은 투자자 본인에게 귀속 - 본인은 채널에서 언급한 종목이나 섹터를 예고없이 매수/매도할 수 있음 - 투자의 결과에 따른 책임을 지지 않음
22,793 مشتركًا
فتح في تيليجرام