RusOutdoors scrapper

#node.js #freelance #2020

Суть задачи заключалась в парсинге картинок по ссылкам из exel таблицы.
Одна таблица с ссылками и другая уже преобразованная с нужными данными и ссылками картинок.

Сложность состояла в том, что картинки по заданным ссылкам были с динамической подгрузкой и обычными парсерами эту информацию было нельзя. Поэтому задача реализовывалась с помощью скраппера на основе движка puppeter.js.

Помимо получения ссылок картинок так же позже потребовалось их скачать.
Были использованы соответствующие библиотеки node.js и асинхронный подход.

В дополнение был сделан дополнительно небольшой диалоговый интерфейс для выбора файлов и проставления параметров пасинга.

Превью парсера

Posted in 2020, freelance, node.js on Mar 27, 2021.