[크롤링 & 스크래핑]개념

크롤링(Crawling)

인터넷의 데이터를 수집하는 행위

 

스크래핑()

크롤링 + 데이터를 추출해서 가공하는 행위

 

정적 크롤링

사용패키지

• request
  • 원격지에 요청 및 응답을 받는 라이브러리

pip install requests

• BeautifulSoup
  • Html 문서를 parsing

pip install beautifulsoup4

 

동적 크롤링

• 특정 버튼을 눌러야 하는 상황을 컴퓨터가 수행하도록 해주는 패키지

방법

• 패키지 설치
• 패키지 import
• 크롬 드리이브 실행
• 컴퓨터가 크롬 웹 브라우저를 다룰 수 있도록 함

import selenium