**DeepSeek, 실서비스 추론 엔진 DeepInfer를 오픈소스로 공개**

- DeepSeek이 자사 대규모 서비스를 구동하는 추론 엔진 DeepInfer를 공개. 이번 버전은 모델을 실행하고 결과를 생성하는 오프라인 추론 제공  
- 토큰을 미리 생성한 뒤 검증하는 방식으로 생성을 가속하고, 일부 구간만 재처리해 입력 처리 연산을 줄임. 최적화 커널과 병렬 처리, CPU 스케줄링과 가속기 실행을 겹치는 기능도 포함  
- 배치 구성이 달라도 같은 결과를 유지하는 추론과 결정적 샘플링 지원. 정규식과 JSON 스키마, 문법에 맞춰 출력을 제한하는 기능도 제공  
- 현재 지원 모델은 DeepSeek-V4.1-Flash, 하드웨어는…

[https://news.hada.io/topic?id=35703](https://news.hada.io/topic?id=35703)