Scrapy 설치하기

web crawling을 하다보면, 개별 소스코드 보다는

프레임워크를 이용해야 할 때가 있다.

이 때 유용한 툴이 바로 Scrapy다.

 

1. Scrapy

docs.scrapy.org/en/latest/intro/install.html

Installation guide — Scrapy 2.4.1 documentation

scrapy는 각 프로젝트를 spider라고 하며,

아래에는 items.py / __init__.py 등

모듈화 된 소스코드들이 존재한다.

 

Scrapy는 python 3.6 이상 버젼을 요구하고 있다.

 

 

 

 

2. 설치 오류 해결 방법

scrapy를 설치하다보니 아래의 문제가 발생한다.

 

Error: Microsoft Visual C++ 14.0 is required. Get it with "Build Tools for Visual Studio"

anaconda prompt 를 관리자 권한으로 실행해도 해결이 되지 않는다.

오류가 나면 항상 제일 밑에 오류가 나는 이유를 찾아봐야 한다.

 

오류 메세지의 가장 아래의 메세지를 확인해보니 다음과 같다.

 이 문제는 Visual Studio C++ 14.0 Version 을 요구하고 있다.

 

3. Visual Studio

visualstudio.microsoft.com/ko/vs/older-downloads/

Visual Studio Older Downloads - 2017, 2015 & Previous Versions

이 사이트에 들어가면 재패포 가능 패키지 및 빌드도구가 있다.

 

 그중 Microsoft Build Tools 2015 업데이트 3를 다운받아 실행하면

Scrapy가 요구하는 버젼을 선택할 수 있다.

 

scrapy가 요구하는 C++ 버전을 설치하고 난 후

pip install Scrapy 명령을 실행하면 성공적으로 scrapy 설치가 가능하다.