데이터 수집2 문과생도 할 수 있는 웹 크롤링 (2) - Selenium 사용 준비 자! 데이터 크롤링 방법을 논하기에 먼저 필요한 도구들을 하나씩 정리하려고 한다. Selenium, Scrapy, Json, Database.... 등등 포스팅을 하면서 정말 필요한 것들만 정리해보도록 하겠다. 2017/09/29 - [Data Science/Python] - 문과생도 할 수 있는 웹 크롤링 (1) - 웹 데이터 크롤링 준비 Selenium 사용 준비 문과생도 할 수 있는 웹 크롤링 (2)1. Selenium 기본 개념2. Selenium 설치 3. 브라우저 driver 설치4. Selenium 시작하기 가장 먼저 Selenium을 다뤄보려고 한다. 데이터 수집 방법은 각 도구들이 하나의 조각으로 모든 조각을 합쳐져 만들어지기 때문에 지금은 그 조각을 맞춰 나가는 것이 제일 중요하며 Se.. 2017. 9. 29. 문과생도 할 수 있는 웹 크롤링 (1) - 웹 데이터 크롤링 준비 시중에 나와 있는 책은 대부분 API를 이용해 데이터를 수집하는 차원의 웹 크롤링을 소개하는 것이 대부분이다. 공인된 서적이 제공할 수 있는 내용적 한계 때문인 듯 하다. 크롤링(crawling)이라는 것은 합법과 범법 사이에서 아슬아슬한 줄타기를 하는 작업이기 때문에 그와 관련된 내용을 public하게 출판하는 것은 위험 소지가 있다. ※ 따라서 "문과생도 할 수 있는 웹 크롤링"은 시중 책에서 제공하지 못하는 내용을 중심으로 정말 우리가 웹에서 수집하고 싶은 데이터를 어떻게 수집할 수 있는지 그 방법과 도구들을 논하고자 한다. 그리고 파이썬과 기본적인 웹 크롤링(정적 홈페이지)을 다루는 것은 다른 많은 블로그나 책에서 다루기 때문에 여기서는 정말 수집하고 싶은... 사이트의 데이터 수집 방법을 다루겠.. 2017. 9. 29. 이전 1 다음
