**고처리량 AI-SQL 엔진 구축하기**

- Quail은 SQL 안에서 AI로 문서를 분류하거나 문서 간 관계를 판별하는 엔진으로, 데이터 전체에 걸친 수십만~수백만 번의 모델 호출을 빠르게 처리함  
- 호출을 하나씩 추론 서버에 보내는 대신 쿼리 실행 계획과 모델 추론을 함께 최적화해, 같은 문서를 반복해서 읽고 계산하는 낭비를 줄임  
- 후속 필터와 조인에 필요한 KV 캐시를 재사용하고, CPU의 작업 준비와 GPU 실행을 겹쳐 GPU가 대기하는 시간을 줄임  
- H100 한 대와 Qwen3 4B FP8을 사용한 자체 평가에서 29개 쿼리 중 27개가 vLLM보다 빨랐으며, 속도 향상의 기하…

[https://news.hada.io/topic?id=34860](https://news.hada.io/topic?id=34860)