반응형
web crawling을 하다보면, 개별 소스코드 보다는
프레임워크를 이용해야 할 때가 있다.
이 때 유용한 툴이 바로 Scrapy다.
1. Scrapy
docs.scrapy.org/en/latest/intro/install.html
Installation guide — Scrapy 2.4.1 documentation
Ubuntu 14.04 or above Scrapy is currently tested with recent-enough versions of lxml, twisted and pyOpenSSL, and is compatible with recent Ubuntu distributions. But it should support older versions of Ubuntu too, like Ubuntu 14.04, albeit with potential is
docs.scrapy.org
scrapy는 각 프로젝트를 spider라고 하며,
아래에는 items.py / __init__.py 등
모듈화 된 소스코드들이 존재한다.
Scrapy는 python 3.6 이상 버젼을 요구하고 있다.
2. 설치 오류 해결 방법
scrapy를 설치하다보니 아래의 문제가 발생한다.
Error: Microsoft Visual C++ 14.0 is required. Get it with "Build Tools for Visual Studio"
anaconda prompt 를 관리자 권한으로 실행해도 해결이 되지 않는다.
오류가 나면 항상 제일 밑에 오류가 나는 이유를 찾아봐야 한다.
오류 메세지의 가장 아래의 메세지를 확인해보니 다음과 같다.
이 문제는 Visual Studio C++ 14.0 Version 을 요구하고 있다.
3. Visual Studio
visualstudio.microsoft.com/ko/vs/older-downloads/
Visual Studio Older Downloads - 2017, 2015 & Previous Versions
Download previous versions of Visual Studio Community, Professional, and Enterprise softwares. Sign into your Visual Studio (MSDN) subscription here.
visualstudio.microsoft.com
이 사이트에 들어가면 재패포 가능 패키지 및 빌드도구가 있다.
그중 Microsoft Build Tools 2015 업데이트 3를 다운받아 실행하면
Scrapy가 요구하는 버젼을 선택할 수 있다.
scrapy가 요구하는 C++ 버전을 설치하고 난 후
pip install Scrapy 명령을 실행하면 성공적으로 scrapy 설치가 가능하다.
반응형
'Programming' 카테고리의 다른 글
| [웹 개발] 초보자가 웹 개발 하는 방법 (0) | 2021.09.04 |
|---|---|
| 웹 애플리케이션 개발하기 웹 호스팅 vs 서버 호스팅 차이점? (0) | 2021.06.20 |
| 클라우딩 컴퓨팅의 세가지 모델은? (0) | 2021.05.26 |
| 파이썬에서 file 활용하는 방법 3가지 (0) | 2020.10.27 |
| 파이썬으로 웹 크롤러 만들기 초급단계 (3) | 2020.10.20 |
| 파이썬 공약수, 약수 divisor 구하는 방법 (0) | 2020.10.15 |
댓글