Персер каталога автозапчастей b2c.ad.ua

Задача была спарсить все товары нескольких брендов автомобилей с каталога сайта поставщика автозапчастей. Сначала были собраны все автомобили в этих брендах. Их оказалось 22000 моделей. И по каждой модели нужно было зайти в каталог и отпарсить во всех категориях все товары. В итоге спарсили 4500000 запчастей. Парсинг занял 2 недели на компьютере i7-3930k 3.2 GHz, …