DeepSeek, 실서비스 추론 엔진 DeepInfer를 오픈소스로 공개
- DeepSeek이 자사 대규모 서비스를 구동하는 추론 엔진 DeepInfer를 공개. 이번 버전은 모델을 실행하고 결과를 생성하는 오프라인 추론 제공
- 토큰을 미리 생성한 뒤 검증하는 방식으로 생성을 가속하고, 일부 구간만 재처리해 입력 처리 연산을 줄임. 최적화 커널과 병렬 처리, CPU 스케줄링과 가속기 실행을 겹치는 기능도 포함
- 배치 구성이 달라도 같은 결과를 유지하는 추론과 결정적 샘플링 지원. 정규식과 JSON 스키마, 문법에 맞춰 출력을 제한하는 기능도 제공
- 현재 지원 모델은 DeepSeek-V4.1-Flash, 하드웨어는…
https://news.hada.io/topic?id=35703
DeepSeek, 실서비스 추론 엔진 DeepInfer를 오픈소스로 공개 - DeepSeek이 자사 대규모 서비스를 구동하는 추론 엔진 DeepInfer를 공개.
GeekNews
@GeekNewsHadaGeekNews 공식 텔레그램 채널입니다. GeekNews 에 올라오는 주요 뉴스를 자동으로 전송합니다. 더 많은 뉴스를 위해서는 긱뉴스를 방문해 주세요. https://news.hada.io 긱뉴스 위클리 뉴스레터를 구독하시면 매주 월요일 아침에 이메일로 주요 뉴스를 받아보실수 있습니다. https://news.hada.io/weekly
2,425 مشتركًا
فتح في تيليجرام