고처리량 AI-SQL 엔진 구축하기
- Quail은 SQL 안에서 AI로 문서를 분류하거나 문서 간 관계를 판별하는 엔진으로, 데이터 전체에 걸친 수십만~수백만 번의 모델 호출을 빠르게 처리함
- 호출을 하나씩 추론 서버에 보내는 대신 쿼리 실행 계획과 모델 추론을 함께 최적화해, 같은 문서를 반복해서 읽고 계산하는 낭비를 줄임
- 후속 필터와 조인에 필요한 KV 캐시를 재사용하고, CPU의 작업 준비와 GPU 실행을 겹쳐 GPU가 대기하는 시간을 줄임
- H100 한 대와 Qwen3 4B FP8을 사용한 자체 평가에서 29개 쿼리 중 27개가 vLLM보다 빨랐으며, 속도 향상의 기하…
https://news.hada.io/topic?id=34860
고처리량 AI-SQL 엔진 구축하기 - Quail은 SQL 안에서 AI로 문서를 분류하거나 문서 간 관계를 판별하는 엔진으로, 데이터 전체에 걸친 수십만~수백만 번의 모델 호출을
GeekNews
@GeekNewsHadaGeekNews 공식 텔레그램 채널입니다. GeekNews 에 올라오는 주요 뉴스를 자동으로 전송합니다. 더 많은 뉴스를 위해서는 긱뉴스를 방문해 주세요. https://news.hada.io 긱뉴스 위클리 뉴스레터를 구독하시면 매주 월요일 아침에 이메일로 주요 뉴스를 받아보실수 있습니다. https://news.hada.io/weekly
2,372 subscribers
Open in Telegram