Підключіть OpenTG до ChatGPT або Claude за 60 секунд

Спробувати

Flide - Jev같은 의사결정 모델을 최대 9.

GeekNews

GeekNews

@GeekNewsHada

GeekNews 공식 텔레그램 채널입니다. GeekNews 에 올라오는 주요 뉴스를 자동으로 전송합니다. 더 많은 뉴스를 위해서는 긱뉴스를 방문해 주세요. https://news.hada.io 긱뉴스 위클리 뉴스레터를 구독하시면 매주 월요일 아침에 이메일로 주요 뉴스를 받아보실수 있습니다. https://news.hada.io/weekly

2 468 підписників
Відкрити в Telegram
Flide - Jev같은 의사결정 모델을 최대 9.5배 빠르게 실행

- Flide는 Jev 계열 의사결정 모델용 추론 인프라임. 정확한 상태 분기(exact state forking)를 통해 vLLM과 SGLang 대비 최대 9.5배 빠른 추론이 가능
- 공통 입력은 한 번만 계산하고, 그때의 모델 상태에서 질문별로 분기해 답을 구함. 각 답은 같은 입력에 해당 질문만 붙여 따로 실행했을 때와 같음
- Jev의 `/v1/systemone` API로 하나의 입력에 여러 질문을 보낼 수 있음. 질문 하나에 최대 256개 선택지를 지정할 수 있음
- Qwen3.5, Gemma 4와 다양한 Jev 계열 모델을 지원함. 모델에 따라 텍스트 외에 이미지와 동영상…

https://news.hada.io/topic?id=36894
Відкрити пост в Telegram