**Tencent Hy4 Flash - 100만 토큰 컨텍스트를 지원하는 저비용 멀티모달 모델**

- Tencent가 Hy4 flash를 공개함. 약 2,200억 파라미터 중 토큰당 120억 개를 활성화하며, 네이티브 멀티모달과 100만 토큰 컨텍스트를 지원함  
- API 요금은 100만 토큰당 입력 0.070달러, 출력 0.281달러로, Hy4보다 크게 낮음  
- 하이브리드 어텐션, LatentMoE, Engram으로 KV 캐시를 Hy4의 1/6로 줄이고, 강화학습으로 평균 종단 간 출력 토큰 수를 50% 줄임  
- Tencent 내부 WorkIndex 평가에서 전반적인 작업 성능은 Hy4 preview를 소폭 웃돌았으며, 작업당 평균 비용은 Hy4의 1/20을 기록함  
- 가중치를 공개했으며, 일상…

[https://news.hada.io/topic?id=37434](https://news.hada.io/topic?id=37434)