DoorDash가 정확도를 유지하면서 LLM 검색 비용을 98% 줄인 방법
- LLM의 내장 웹 검색을 별도의 검색 API로 분리해, 검색어의 의도를 분류하는 평가에서 정확도를 유지하면서 검색 요금을 98% 이상 절감함. 모델 추론 비용은 제외한 수치임
- 여러 AI 에이전트가 하나의 검색 게이트웨이를 공유하며, 모델과 검색 업체를 독립적으로 교체할 수 있음. 검색 결과 수, 캐시 정책, 장애 시 대체 업체도 설정으로 관리함
- 같거나 의미가 비슷한 질문의 검색 결과를 재사용해 중복 호출을 줄임. 캐시가 채워진 평가에서는 초기 실행보다 평균 지연 시간이 68%, 검색 비용이 99% 이상 감소함
- 검색…
https://news.hada.io/topic?id=36733
DoorDash가 정확도를 유지하면서 LLM 검색 비용을 98% 줄인 방법 - LLM의 내장 웹 검색을 별도의 검색 API로 분리해, 검색어의 의도를 분류하는 평가에서 정확도를 유
GeekNews
@GeekNewsHadaGeekNews 공식 텔레그램 채널입니다. GeekNews 에 올라오는 주요 뉴스를 자동으로 전송합니다. 더 많은 뉴스를 위해서는 긱뉴스를 방문해 주세요. https://news.hada.io 긱뉴스 위클리 뉴스레터를 구독하시면 매주 월요일 아침에 이메일로 주요 뉴스를 받아보실수 있습니다. https://news.hada.io/weekly
2,458 subscribers
Open in Telegram