Был создан парсер на PHP, который собирает данные по заданным параметрам.
Как сейчас работает парсер:
1. Создается csv файл с параметрами( в строках содержатся продукты, в столбцах параметры для каждого продукта, в том числе каждый продукт имеет ссылку на страницу сайта, откуда нужно парсить);
2. Файл загружается в парсер, после чего начинается парсинг;
3. По окончании парсинга, как результат, парсер выдает результат о совпадении или несовпадении параметров для каждого продукта (совпадает ли параметр, указанный в csv файле c параметром на сайте).
В настоящий момент параметры для парсинга существенно увеличились, в результате чего возможности парсера необходимо расширить/доработать. Пункты, которые нужно сделать есть.
Требуемые знания для доработки парсера:
- Curl (+ многопоточность, + работа через прокси, + использование куки)
- Mysql
- Работа с CSV в PHP (чтение, запись, выгрузка)
- Библиотека PhpQuery (для парсинга полученных результатов и сохранения/сверки необходимых данных)