Устранение таймаутов при медленной работе целевых сайтов
Решение ошибок 504 Gateway Timeout при сборе данных с медленных государственных порталов, баз поставщиков и настройка повторных попыток.
Некоторые целевые сайты — особенно государственные реестры закупок, патентные базы и устаревшие каталоги оптовых поставщиков — могут отвечать по 15–30 секунд или испытывать перегрузки в часы пик.
Если сервер сайта не успевает вернуть ответ в пределах лимита ожидания, Tishtar фиксирует ошибку UPSTREAM_TIMEOUT или GATEWAY_TIMEOUT (504).
3 стратегии работы с медленными сайтами
- Экспоненциальные повторные попытки (Retry Buffer):
- В расширенных настройках рутины включите автоматический повтор (до 3 попыток с интервалом в 5 минут).
- Смещение расписания на часы наименьшей нагрузки:
- Перенесите запуск с 09:00 утра на 05:30 утра, когда сервер целевого сайта свободен от наплыва посетителей и отвечает мгновенно.
- Прямые ссылки на конкретные разделы:
- Вместо тяжелых сводных таблиц со всеми товарами указывайте ссылки на конкретные категории с фильтрами, чтобы снизить нагрузку на целевой сайт.