**Cluster Protocol, 추론 비용이 갈리는 이유** [원문](https://x.com/OpenProtocolFND/status/2121669856194183548)


> • AI 추론은 2단계로 진행
> • Prefill: 프롬프트를 한 번에 읽는 단계, 빠름
> • Decode: 답변을 토큰 단위로 써 내려가는 단계, 느려서 출력 비용이 더 비쌈
> • Cluster는 OpenAI 호환 엔드포인트 하나로 500개+ 모델 서버리스 추론 제공
> • API 키 없이 요청당 결제


_API 청구서 볼 때마다 출력 토큰 단가가 입력보다 몇 배 비싸서 의아했는데 디코딩이 한 토큰씩 도는 구조라 그런 거였음_

[공식 트윗](https://x.com/OpenProtocolFND/status/2121669856194183548) | [Cluster Hub](https://hub.clusterprotocol.ai/)

[#Cluster](?q=%23Cluster)