1001 Freelance Projects -- Парсер авито и циан 500 тыс. запросов в день

Свежие проекты с фриланс-бирж

Сегодня: 17-May-2024 08:54 GMT

Подробный просмотр проекта (вы будете перенаправлены на сторонний сайт)
Название проекта:	Парсер авито и циан 500 тыс. запросов в день
Кто разместил:	Внешний проект с free-lance.ru
Открыт:	17-Dec-2021 17:02 GMT
Описание:	Техническое задание: 1. Открыть нашу базу данных, 2. Взять по очереди актуальное объявления 3. перейти по ссылке на источник (циан или авито) 4. спарсить СТАТУС (актуально или снято с продажи) 5. спарсить текущую цену (если объявлние актуально) 6. обновить статус в нашей базе если он изменился 7. обновить цену в нашей базе если она изменилась Создать эффективно-структурированную систему на основе веб-приложения, с помощью которого будет возможно регулярно получать данные по объявлениям недвижимости с сайтов объявлений авито и циан. Частота получения данных: минимум 1-3 раза в сутки. Предполагаемое количество объявлений: около 1 миллиона. Для того, чтобы получать данные, требуется делать HTTP-запросы к сайтам напрямую. Необходимо определить и выбрать оптимальный способ (через имитацию запросов веб-браузера или мобильного приложения), с помощью которого получится более оптимальным и эффективным образом добиться требуемого масштабирования. В результате тестов необходимо будет выяснить внутренние лимиты и ограничения этих площадок. Требования к кандидату: - опыт реализации подобных проектов - знания в области структуры HTTP запросов и ответов - понимание принципов ООП - достаточно глубокие знания в одном из следующих языков программирования PHP, GO, Python - достойные навыки в области веб-разработки, не исключая использование популярных инструментов (фреймворков и библиотек) Будет плюсом: - если у вас уже есть такие наработки (особенно имитация активности/запросов мобильного приложения) - наличие команды, руководя которой вы сможете оперативно реализовать данный проект Ресурсы для последующего масштабирования будут предоставлены непосредственно после реализации этой системы в виде готового проекта. Нужно сделать несколько доработок к существующему и работающему проекту: 1. Парсинг в реальном времени актуальности объявления ---------------------- ---------- Стэк, используемый в проекте - PHP 7.2 - весь бэк на нем; Composer - потребуется установить один пакет (comoser.json в проекте); MYSQL - ничего сложного: транзакции, выборка данных, джойны. SSH - базовые знания на уровне найти нужную папку и найти файл. + Работа с composer само собой. Еще используем Google Sheet API для выгрузки данных в таблицу. В остальном это чистый PHP без использования фреймворков.
Project ID:	4179771
Категория проекта:	Программирование, Парсинг данных
Бюджет проекта:

Подробный просмотр проекта (вы будете перенаправлены на сторонний сайт)

Проект	Открыт
скопировать сайт Joomla на новый шаблон, который будет поддерживать версии 4 и 5 на Joomla Категория: Веб разработка	17-May-2024 04:09 GMT
Import/laravel	17-May-2024 04:07 GMT
Доделать учебный проект на С[sharp]	17-May-2024 04:05 GMT
Сделать пару правок а сайте по wordpress	17-May-2024 04:04 GMT
Создать новый сайт на WordPress и перенести все SEO со старого сайта на WordPress Категория: Сайты, WordPress Бюджет: 50000 руб	17-May-2024 03:59 GMT
- Генерировать статьи и добавлять на WordPress сайт -	17-May-2024 03:58 GMT
Разработка и интеграция модуля в веб приложение	17-May-2024 03:58 GMT
Cимплексный метод решения	17-May-2024 03:57 GMT
Сайт	17-May-2024 03:54 GMT
На Тильде в единицах измерения веса добавить свою - "поддон"? Категория: Веб разработка	17-May-2024 03:44 GMT
Дизайн проект коттеджа 280м2 Категория: Дизайн, Интерьеры Бюджет: 150000 руб	17-May-2024 03:30 GMT
Подготовка деталей в плоскостной раскрой Категория: Инженерия	17-May-2024 03:10 GMT
Выполнение чертежей и рабочей документации планировочного решения Категория: Инженерия	17-May-2024 03:04 GMT
Шаблоны для email рассылок - 999UAH Категория: Баннеры, Визуализация и моделирование	17-May-2024 02:46 GMT
Презентация строительной фирмы. Категория: Реклама и Маркетинг, Рекламные концепции	17-May-2024 02:24 GMT

Все проекты

Проекты по навыкам ...
Проекты 'android' Проекты 'ajax' Проекты 'asp' Проекты 'aspnet' Проекты 'cms' Проекты 'cpp' Проекты 'csharp' Проекты 'css' Проекты 'delphi' Проекты 'design' Проекты 'drupal' Проекты 'excel'	Проекты 'facebook' Проекты 'flash' Проекты 'html' Проекты 'java' Проекты 'javascript' Проекты 'joomla' Проекты 'iphone' Проекты 'mysql' Проекты 'photoshop' Проекты 'php' Проекты 'python' Проекты 'ruby' Проекты 'seo'	Проекты 'sql' Проекты 'sysadm' Проекты 'translate' Проекты 'typing' Проекты 'twitter' Проекты 'vbnet' Проекты 'xml' Проекты 'wordpress' Проекты 'writing' Проекты 'texts'
Читать RSS-ленты ... Новое!
Проекты 'android' Проекты 'ajax' Проекты 'asp' Проекты 'aspnet' Проекты 'cms' Проекты 'cpp' Проекты 'csharp' Проекты 'css' Проекты 'delphi' Проекты 'design' Проекты 'drupal' Проекты 'excel'	Проекты 'facebook' Проекты 'flash' Проекты 'html' Проекты 'java' Проекты 'javascript' Проекты 'joomla' Проекты 'iphone' Проекты 'mysql' Проекты 'photoshop' Проекты 'php' Проекты 'python' Проекты 'ruby' Проекты 'seo'	Проекты 'sql' Проекты 'sysadm' Проекты 'translate' Проекты 'typing' Проекты 'twitter' Проекты 'vbnet' Проекты 'xml' Проекты 'wordpress' Проекты 'writing' Проекты 'texts'

Новое!
Projects in English	Короткий URL: 1001fp.ru	Мобильная версия: m.1001freelanceprojects.ru