**DoorDash가 정확도를 유지하면서 LLM 검색 비용을 98% 줄인 방법**

- LLM의 내장 웹 검색을 별도의 검색 API로 분리해, 검색어의 의도를 분류하는 평가에서 정확도를 유지하면서 검색 요금을 98% 이상 절감함. 모델 추론 비용은 제외한 수치임  
- 여러 AI 에이전트가 하나의 검색 게이트웨이를 공유하며, 모델과 검색 업체를 독립적으로 교체할 수 있음. 검색 결과 수, 캐시 정책, 장애 시 대체 업체도 설정으로 관리함  
- 같거나 의미가 비슷한 질문의 검색 결과를 재사용해 중복 호출을 줄임. 캐시가 채워진 평가에서는 초기 실행보다 평균 지연 시간이 68%, 검색 비용이 99% 이상 감소함  
- 검색…

[https://news.hada.io/topic?id=36733](https://news.hada.io/topic?id=36733)