Понадобилось мне перенести данные с одного сайта на другой. Писать самому скрэйпер не хотелось. Платные решения использовать тоже желания не было — нашел бесплатный вариант — BatchURLScraper
На vc.ru есть описание этой программы. Саму её можно найти на сайте разработчика вот тут.
Кроме этого на сайте разработчика есть интересная и тоже совершенно бесплатная программа SiteAnalyzer с ней ознакомится можно тут.