• AI 추론은 2단계로 진행
• Prefill: 프롬프트를 한 번에 읽는 단계, 빠름
• Decode: 답변을 토큰 단위로 써 내려가는 단계, 느려서 출력 비용이 더 비쌈
• Cluster는 OpenAI 호환 엔드포인트 하나로 500개+ 모델 서버리스 추론 제공
• API 키 없이 요청당 결제
API 청구서 볼 때마다 출력 토큰 단가가 입력보다 몇 배 비싸서 의아했는데 디코딩이 한 토큰씩 도는 구조라 그런 거였음
공식 트윗 | Cluster Hub
#Cluster