약 135만원으로 3.8B LLM을 처음부터 학습해 CORE 0.384 달성하기
- little-lm 3.8B는 무작위 초기화부터 653억 토큰을 사전학습해 CORE 0.384를 달성한 개인 프로젝트로, B200 8대에서 43시간 동안 학습하는 데 998달러가 들었음
- 초기 실험의 낮은 성능을 개선하기 위해 Muon 옵티마이저, 사다리꼴 학습률 스케줄, ClimbMix 데이터, FP8 등을 적용했으며, 최종 학습에서는 마지막 단계까지 평가 손실이 감소함
- 개별 연산보다 전체 학습 처리량과 메모리 사용량이 중요했음. 융합 손실 함수는 같은 배치에서 약 6% 느렸지만, 절약한 메모리로 배치를 키우자 전체 처리량이 높아짐
- 컨텍스트…
https://news.hada.io/topic?id=36269
약 135만원으로 3.
GeekNews
@GeekNewsHadaGeekNews 공식 텔레그램 채널입니다. GeekNews 에 올라오는 주요 뉴스를 자동으로 전송합니다. 더 많은 뉴스를 위해서는 긱뉴스를 방문해 주세요. https://news.hada.io 긱뉴스 위클리 뉴스레터를 구독하시면 매주 월요일 아침에 이메일로 주요 뉴스를 받아보실수 있습니다. https://news.hada.io/weekly
2 425 підписників
Відкрити в Telegram