**약 135만원으로 3.8B LLM을 처음부터 학습해 CORE 0.384 달성하기**

- little-lm 3.8B는 무작위 초기화부터 653억 토큰을 사전학습해 CORE 0.384를 달성한 개인 프로젝트로, B200 8대에서 43시간 동안 학습하는 데 998달러가 들었음  
- 초기 실험의 낮은 성능을 개선하기 위해 Muon 옵티마이저, 사다리꼴 학습률 스케줄, ClimbMix 데이터, FP8 등을 적용했으며, 최종 학습에서는 마지막 단계까지 평가 손실이 감소함  
- 개별 연산보다 전체 학습 처리량과 메모리 사용량이 중요했음. 융합 손실 함수는 같은 배치에서 약 6% 느렸지만, 절약한 메모리로 배치를 키우자 전체 처리량이 높아짐  
- 컨텍스트…

[https://news.hada.io/topic?id=36269](https://news.hada.io/topic?id=36269)