Для формирования БД стримеров на сайте, необходима система регулярного парсинга YouTube и Twitch каналов
На входе файл со списком url каналов
На выходе:
- Данные по каналам в csv & xls
- Данные по видео в xls & mysql
API YouTube НЕ используем!
Для успешного парсинга можем использовать прокси. Список доступных прокси берем из локального config-файла
Парсер д.б на отдельном хостинге, что бы в случае проблем с хостингом не лег основной сайт.
Детальное ТЗ во вложении
Что мне необходимо и входит в пакет от исполнителя
Проработать нюансы реализации. Это примерное описание – я не профи в парсинге и полагаюсь на опыт исполнителя Разработать систему и запустить ее на сервере Инструкция по установке системы на новый сервер и необходимые требования к серверу и окружению Помощь в выборе ВПС, ктр не будут блочить за это Совет по прокси – где брать, сколько, как чекать, что прокси умерли (можно и в скрипт такую опцию добавитьСистема предоставляется с открытым исходным кодом (без обфусикации и т.п.)
При ответе прошу обозначить
Срок? Стоимость? Форматы оплаты
Срок гарантийной поддержки, если что пойдет не так Что от меня потребуется?
