이번에 OpenAI가 나비에-스토크스의 해법을 내놓은 걸 고민해보다가 이런 생각을 하게 되었다.
어쩌면 이번 사건의 함의 중 하나는 OpenAI와 같은 최선단 프론티어랩들이 이제 정말로 ‘정밀 타격-해결 기계’를 가진 것 같다는 것이다. 얘네가 문제를 찍으면 컴퓨팅을 거기에 집중해서 풀어낼 가능성이 갈수록 커지고 있다는 이야기.
이건 모델의 발전에 있어서도 중요한 이야기인데, 얘네가 내부적으로 무엇을 개선할지 파악하고 컴퓨팅을 집중시켰을 때 그게 실제 발전으로 이어질 확률이 높아진다면, 프론티어랩과 나머지 랩들 사이의 격차도 갈수록 커질 수 있다는 소리. 혹자는 모델의 성능 격차가 갈수록 좁아진다고 말하지만, 사실은 반대일 수 있다는 이야기.
즉, 이번 사건은 프론티어랩의 경쟁력이 스스로를 강화하는 구조에 들어서고 있다는 걸 외부에 보여준 사례일 수 있다는 것.
---
관련해서 드와케시 & 딜런 파텔의 대담이 비슷한 생각을 공유하는 것 같아서 인용:
"제가 개인적으로 믿는 게 바로 그겁니다. 연구소들은 시간이 갈수록 추론에 배분하는 컴퓨팅 비중을 줄일 겁니다. 이건 시장의 일반적인 생각과 꽤 다르다고 봅니다. 보통은 “대부분의 컴퓨팅이 추론에 쓰일 것”이라고 생각하죠. 하지만 대부분은 학습을 위한 순전파 연산에 쓰일 것이고, 반드시 매출을 창출하는 추론에 쓰이는 건 아닐 겁니다."
"지금 메가와트당 3,000만~4,000만 달러를 벌고 있을 때 추론에 40%를 배분한다고 합시다. 그런데 메가와트당 6,000만~7,000만 달러를 벌게 된다면, 여전히 40%를 추론에 배분해 엄청난 이익을 내고 배당과 자사주 매입을 할까요? 아니면 AGI를 만들까요? Anthropic과 OpenAI는 경영진뿐 아니라 이사회 차원에서도 분명히 AGI를 만들겠다고 답할 겁니다. 그게 훨씬 수익성이 높으니까요. 결국 학습에 배분하는 컴퓨팅 비중을 점점 높이게 될 겁니다."
"핵심은 이겁니다. 토큰을 판다고 합시다. OpenAI가 Ultrafast 모드를 외부에만 제공하려고 만든 걸까요, 아니면 내부에서도 쓸까요? 실제로는 내부와 외부 모두에 배분할 겁니다. 초고속 AI나 최고의 AI 모델을 내부에서 사용해 얻는 가치가 외부 사용자가 얻는 가치보다 훨씬 크기 때문이죠."
"물론 메가와트당 1억 달러를 벌 수 있습니다. 하지만 그것을 AI 연구에 돌리면 얼마나 추가적인 발전을 얻을 수 있을까요? 미래 수익 잠재력이나 그 모든 활동의 할인현금흐름에는 어떤 영향을 줄까요? 실제로 그런 계산을 하나하나 하고 있는 건 아니겠지만, 결국 컴퓨팅을 점점 더 내부에 배분하는 것이 합리적입니다. 추론용 컴퓨팅을 크게 유지하는 유일한 이유는 학습용 자원을 확대할 수 있기 때문입니다."
"1월에는 12월보다 추가한 컴퓨팅이 적었는데도 매출 증가분은 급등했습니다. 이후에는 어느 정도 평탄해졌죠. 지금은 매달 ARR이 250억 달러씩 늘어나지는 않습니다. 그렇다는 것은 새로 확보하는 메가와트가 추론보다 연구개발로 가는 비중이 높아졌다는 뜻입니다. 그러니까 이들은 실제로 지금 연구개발용 컴퓨팅을 늘리고 있는 겁니다. 이들이 하는 일을 충분히 들여다보면 자명하다고 생각합니다."
https://www.dwarkesh.com/p/dylan-patel-3