Cloudflare співпрацює з OpenAI для покращення механізмів пошуку та індексації контенту для AI-систем

Cloudflare співпрацює з OpenAI для покращення механізмів пошуку та індексації контенту для AI-систем.
https://blog.cloudflare.com/cloudflare-openai-discovery-agentic-web/

Використання даних з мережі Cloudflare допомагає краулерам OpenAI знаходити раніше невідомі сторінки, що значно розширює базу знань для відповідей ChatGPT. У пілоті взяло участь близько 1% мережі Cloudflare, що дозволило проіндексувати сотні мільйонів нових сторінок.

Завдяки сигналам Cloudflare вдається мінімізувати марну роботу ботів — наприклад, краулери тепер уникають сторінок, що не існують, або сторінок з переадресаціями, що знижує навантаження на сервери власників сайтів.

Розробляються сигнали для ідентифікації шкідливого контенту (наприклад, окремих скомпрометованих сторінок із фішинговими формами). Це дозволяє виключати небезпечні ресурси з індексу, не караючи при цьому весь домен цілком.

Cloudflare каже, що дослідження базується на метаданих для цілей пошуку, а не на передачі контенту для навчання моделей. Власники сайтів зберігають повний контроль через інструмент AI Crawl Control, що дозволяє самостійно визначати умови доступу ШІ до їх контенту.