• Кейс · Боты
  • 5 технологий

Checker Bot: массовая проверка потоком с живым прогрессом

обновлено 3 мин чтения

Telegram-бот массовой проверки данных: принимает список, прогоняет его через браузер и прокси параллельно и показывает живой прогресс прямо в чате.

Checker Bot - Bulk Checking: главный экран

Задача

У заказчика был большой список, который нужно было проверять пачками, а не по одной строке вручную.

Проверять приходилось через полноценный браузер, поэтому важно было делать это параллельно и не терять результат из-за случайных сбоев сети.

И нужно было видеть ход проверки в реальном времени, а не ждать вслепую несколько часов.

Решение

Сделал бота на Python и Aiogram. Он принимает список файлом или текстом и прогоняет его через браузер и несколько прокси параллельно, несколькими воркерами сразу.

Пока идёт проверка, в чате одно сообщение, которое само обновляется: полоса и проценты, счётчики, темп в минуту, таблица воркеров по шагам и лента последних результатов.

При техническом сбое сети бот сам меняет адрес и повторяет попытку, поэтому результат не теряется. Каждый прогон сохраняется, итог можно скачать файлом.

Как устроена система

Живой прогресс в одном сообщении

Вместо потока сообщений в чате одно, которое обновляется на ходу: полоса и проценты, счётчики, темп в минуту и сколько осталось по времени.

Там же таблица воркеров - кто какую строку сейчас обрабатывает и на каком шаге, - и лента последних результатов.

Поток и устойчивость

Несколько прокси и воркеров работают параллельно, поэтому список на тысячи строк бот проходит сам, его можно оставить на ночь.

При сбое сети бот меняет адрес и повторяет попытку, так что единичная ошибка не портит прогон и результат не теряется.

История и выгрузка

Каждый прогон сохраняется и переживает перезапуск. Итог можно скачать файлом по конкретному прогону или общим архивом за всё время.

Возможности

  • Проверка потоком через браузер и несколько прокси
  • Живой прогресс: полоса, счётчики, воркеры и лента событий
  • Параллельные воркеры с авто-ретраем при сбоях сети
  • Темп, оценка времени и статистика по каждому прокси
  • История прогонов с выгрузкой результата файлом

Экраны

ЭКРАН 1

Живой прогресс в одном сообщении

Пока идёт проверка, в чате одно сообщение, которое само обновляется: полоса и проценты, счётчики, темп в минуту, таблица воркеров по шагам и сколько осталось по времени.

Результат

поток
параллельно
прогресс
live
  • Список на тысячи строк проходится сам, без участия человека
  • Ход проверки виден в реальном времени, результат выгружается файлом

Стек

  • Python
  • Aiogram
  • Playwright
  • Proxy Rotation
  • SQLite

Кому подойдёт

Командам, которым нужно регулярно проверять большие списки данных потоком и видеть прогресс в реальном времени прямо в Telegram.

Вопросы по проекту

Что именно умеет проверять бот?

Бот прогоняет список через браузер и прокси потоком. Под конкретную задачу логика проверки настраивается отдельно - напишите мне, и я расскажу, подойдёт ли это.

Насколько быстро идёт проверка?

Скорость зависит от числа прокси и воркеров. Они работают параллельно, поэтому большой список проходится без участия человека.

Что будет при сбое сети?

Бот сам меняет адрес и повторяет попытку, поэтому единичная ошибка не ломает прогон и результат не теряется.

Можно ли выгрузить результат?

Да. Каждый прогон сохраняется, итог скачивается файлом по конкретному прогону или общим архивом.

Готовы автоматизировать бизнес?

Созвон 30 минут: разберём процессы, найдём, что автоматизировать первым, и оценим сроки.

  • CRM
  • Трафик
  • Боты
  • ИИ
  • Аналитика
  • Интеграции
  • Сайты
Обсудить проект

Нужно похожее решение

Похожие кейсы