Janas - SSD를 활용해 RAM보다 큰 MoE 언어 모델을 실행하는 추론 엔진
- RAM에 다 들어가지 않는 MoE 언어 모델을 일반 PC에서 실행하는 로컬 추론 엔진으로, 토큰마다 필요한 가중치를 NVMe SSD에서 읽어 사용
- MoE 모델 내부의 전문가(expert) 중 자주 사용하는 부분은 메모리에 캐시하며, GPU 없이도 실행 가능
- Core Ultra 9 185H와 내장 Arc GPU, 32GB RAM 노트북에서 48.4GB Qwen3-Next-80B-A3B를 초당 24토큰으로 실행, 같은 기기의 llama.cpp는 2.8토큰/초 기록
- 다음 토큰을 미리 생성하고 모델이 검증하는 초안 기반 생성으로 같은 모델의 채팅 속도는 37토큰/초 기록
- 터미널 채팅…
https://news.hada.io/topic?id=35298
Janas - SSD를 활용해 RAM보다 큰 MoE 언어 모델을 실행하는 추론 엔진 - RAM에 다 들어가지 않는 MoE 언어 모델을 일반 PC에서 실행하는 로컬 추론 엔진으로,
GeekNews
@GeekNewsHadaGeekNews 공식 텔레그램 채널입니다. GeekNews 에 올라오는 주요 뉴스를 자동으로 전송합니다. 더 많은 뉴스를 위해서는 긱뉴스를 방문해 주세요. https://news.hada.io 긱뉴스 위클리 뉴스레터를 구독하시면 매주 월요일 아침에 이메일로 주요 뉴스를 받아보실수 있습니다. https://news.hada.io/weekly
2,425 מנויים
פתח בטלגרם