크래프톤, 자체 개발 30B급 고효율 LLM 'Raon-1 mini' 프리뷰 공개
- 크래프톤이 모델 아키텍처 설계부터 사전학습까지 독자 개발한 30B급 오픈웨이트 LLM 'Raon-1 mini' 프리뷰를 공개. 한국어·영어 대화와 추론, AI 에이전트 작업에 초점을 맞춘 모델
- MoE(Mixture of Experts)와 자체 개발한 선형 어텐션 기술을 결합. 전체 약 300억 개 파라미터 중 추론 시 약 40억 개만 활성화해 연산량과 추론 비용을 줄이는 구조
- 자체 개발한 Raon Delta Attention(RDA) 기반 하이브리드 아키텍처를 적용하며, 최대 262K 토큰 컨텍스트를 지원
- 한국어 대화와 지시 이행 능력을 강점으로 제시. 공개된 자…
https://news.hada.io/topic?id=35752
크래프톤, 자체 개발 30B급 고효율 LLM 'Raon-1 mini' 프리뷰 공개 - 크래프톤이 모델 아키텍처 설계부터 사전학습까지 독자 개발한 30B급 오픈웨이트 LLM 'Rao
GeekNews
@GeekNewsHadaGeekNews 공식 텔레그램 채널입니다. GeekNews 에 올라오는 주요 뉴스를 자동으로 전송합니다. 더 많은 뉴스를 위해서는 긱뉴스를 방문해 주세요. https://news.hada.io 긱뉴스 위클리 뉴스레터를 구독하시면 매주 월요일 아침에 이메일로 주요 뉴스를 받아보실수 있습니다. https://news.hada.io/weekly
2,425 مشتركًا
فتح في تيليجرام