시간이 지날수록 데이터는 점점 더 많아질 것이고, 데이터의 중요도는 올라갈 것이다. 우리는 하루에도 수많은 데이터를 스쳐 지나간다. 이러한 데이터들을 수집 및 활용하고 객관적으로 판단하는 것은 매우 중요해졌다. 이렇게 생성된 데이터는 더 이상 직접 수집하기가 거의 불가능하다고 본다.
이 책은 데이터를 수집하기 위한 준비부터 활용하는 방법까지 소개하고 있다. 1단계 준비, 2단계 데이터 수집, 3단계 데이터 활용 단계로 구성되어 있다. 준비 단계에서는 파이썬 기초 문법과 웹에 대한 내용을 다룬다. 데이터 수집 단계에서는 파이썬을 활용하여 크롤러를 만드는 단계이다. 활용 단계는 데이터를 저장하고 그래프를 그리고 머신러닝 프레임워크를 활용하여 데이터 처리를 하는 방법을 다룬다.
입문자도 쉽게 익힐 수 있는 파이썬으로 웹 크롤러 만들기
크롤러는 인터넷을 돌아다니며 데이터를 수집하는 프로그램이다. 크롤러를 만드는 데 다양한 개념이 필요한 이유는 크롤러가 웹에 대해 상당히 의존적이기 때문이다. 크롤러라는 것은 우리가 수집하고자 하는 사이트에 따라 만드는 방식이 달라지므로 기본 개념을 잘 잡고 크롤러를 만드는 것이 중요하다.
이 책에서는 파이썬을 모르는 입문자부터 파이썬으로 무엇을 해야 할지 모르는 학습자가 읽기 좋은 책이다. 데이터를 수집하는 크롤러에 대한 내용을 주로 설명하고 있으며, 데이터 처리 및 분석 방법, 파이썬으로 서버를 만드는 방법을 소개한다.
책을 읽고 웹 서핑을 하다보면 웹 페이지 말고 URL 창이 먼저 보일 것이다. 그리고 ‘이 데이터를 수집하려면 이렇게 요청을 하면 되겠구나!’라고 생각할 것이다. 그러다 가끔 ‘어! 이 사이트 구조가 좀 이상한데?’라면서 해당 사이트의 구조를 분석하고 있는 자신을 발견할 것이다. 또한 본문에서 활용한 예제는 정보문화사 홈페이지(http://www.infopub.co.kr) 자료실에서 다운로드하여 직접 연습해 볼 수 있다.
지원단말기
PC : Window 7 OS 이상
스마트기기 : IOS 8.0 이상, Android 4.1 이상 (play store 또는 app store를 통해 이용 가능)
