Google продовжує ускладнювати життя парсерам, тепер додав затримку при переході: https://devakatalk.

Google продовжує ускладнювати життя парсерам, тепер додав затримку при переході:
https://devakatalk.com/how-google-throttles-scraping-via-goto-our-own-experiment/

З розсилки SEO Baza дізнався, що Google зараз робить затримку перед переходом на URL для тих, хто скрейпить контент через Incognito (всі ранктрекери). Зазвичай, я не довіряю таким постам на 100%, тому вирішив перевірити :)

Взяв декілька запитів + Cursor з Apple Script для автоматизації на власному браузері. Перевірив спочатку українську видачу, потім США. Результати однакові, тому висновки також.

• Google дійсно робить затримку при переході по /goto
• Перші декілька посилань дають 302 одразу, потім HTML сторінка з Meta-Refresh і новий токен
• При спробі перейти раніше ніж пройде таймер, віддається 400 помилка
• Наявність Cookie помякшує результат, але не дуже сильно. Без Cookie майже завжди з'являються HTML гейти
• Найбільший час очікування 19-34 секунди в моїй вибірці
• Затримка не залежить від позиції, а залежить від послідовності кліку. Якщо клікати спочатку на дальні результати, то віддаються скоріше.
• Ти не можешь скіпанути таймер

Короче, трекерам кабздец. Не знаю, як вони там ще працюють, та щось знімають.