RailForge
[04]Automation · Data
листайте внизЗадача #4421 · amazon
74,200 SKU · 38/40 proxy · 12 err/h
О проекте
Сбор цен, остатков и карточек товаров с обходом rate-limit, дедупликация и выгрузка в Google Sheets / API.
Задача
Разные антибот-защиты на площадках и нестабильные прокси — нужен единый pipeline.
Решение
Celery-воркеры, пул residential-прокси, fallback на Playwright, нормализация в единую схему MongoDB.
Ключевые возможности
01
Планировщик задач
Cron, приоритеты, retry с backoff.
02
Детектор изменений
Алерт при смене цены > N%.
03
REST API выгрузки
Фильтры, пагинация, webhooks.
04
Дашборд мониторинга
Очереди, ошибки, расход прокси.
Свой сценарий
Data forge
Секция ведёт себя как кузница данных: искры строк, очередь задач, чистый пайплайн до базы. Никаких скучных графиков.
14Источников180KЗаписей / деньPython2024
Нужен похожий продукт?
RailForge — опишите задачу, соберём архитектуру и сроки.
@switchstackz