분류 전체보기55 문과생도 할 수 있는 웹 크롤링 (1) - 웹 데이터 크롤링 준비 시중에 나와 있는 책은 대부분 API를 이용해 데이터를 수집하는 차원의 웹 크롤링을 소개하는 것이 대부분이다. 공인된 서적이 제공할 수 있는 내용적 한계 때문인 듯 하다. 크롤링(crawling)이라는 것은 합법과 범법 사이에서 아슬아슬한 줄타기를 하는 작업이기 때문에 그와 관련된 내용을 public하게 출판하는 것은 위험 소지가 있다. ※ 따라서 "문과생도 할 수 있는 웹 크롤링"은 시중 책에서 제공하지 못하는 내용을 중심으로 정말 우리가 웹에서 수집하고 싶은 데이터를 어떻게 수집할 수 있는지 그 방법과 도구들을 논하고자 한다. 그리고 파이썬과 기본적인 웹 크롤링(정적 홈페이지)을 다루는 것은 다른 많은 블로그나 책에서 다루기 때문에 여기서는 정말 수집하고 싶은... 사이트의 데이터 수집 방법을 다루겠.. 2017. 9. 29. 문과생도 이해하는 딥러닝 (1) - 퍼셉트론 Perceptron 퍼셉트론 Perceptron문과생도 이해하는 딥러닝 (1) 딥러닝이라는 말이 학계, 업계 어디든 할 것 없이 엄청난 화두이다. 그래도 아직까지는 기계학습이면 충분하지만 점점 더 인공지능과 관련된 신경망 기반의 딥러닝 알고리즘들에 대한 수요가 더욱 중요해질 것이다.(그것이 설령 필요하지 않더라도... 오버스펙...) 어쨌든 기계학습(machine learning) 알고리즘의 하나일 뿐인 딥러닝이 이제는 기계학습이라는 용어 자체를 대변하려는 기세를 보이고 있다. 기계학습에 대해 설명한 좋은 글들이 많이 있다. 간단하게 본다면 기계학습은 기계가 학습하는 것이다!(?) 컴퓨터는 인간에 비해서 복잡한 연산을 아주 빠르게 소화할 수 있는 기계일 뿐이었고 사람과 같이 무언가를 인식하는 것은 하지 못했다. 기계학습은 .. 2017. 9. 27. 파이썬으로 데이터 분석하자 (2) - IPython 사용하기 파이썬 IPython - 파이썬 라이브러리를 활용한 데이터 분석 中※본 포스팅은 "파이썬 라이브러리를 활용한 데이터 분석"을 공부하면서 기억이 나지 않을 때 다시 돌아볼 목적으로 필요 내용만 간단하게 정리하였습니다. IPython 사용하기 자기관찰 ??는 일반정보, ??는 가능한 경우 함수 소스코드variable?function?? dir()을 알았을 때의 기쁨을 자기관찰(?, ??)을 알았을 때 또 느꼈다!!!! %run%run script.pypython scipt.py와 동일하게 동작하며 ipython 네임스페이스에 해당 스크립트에서 정의된 모든 변수들이 정의되어 접근이 가능 %paste, %cpaste클립보드에 있는 내용 붙여넣기할 때 오류를 일으키지 않도록 해줌 단축키 ctrl+p command.. 2017. 9. 27. Python 기초 - 일급함수(first-class)란 무엇인가 파이썬 내용 보충 - 밑바닥부터 시작하는 데이터 과학 中※본 포스팅은 "밑바닥부터 시작하는 데이터 과학"을 공부하면서 Python2로 작성된 샘플 코드를 Python3으로 변환할 때 발생하는 에러 혹은 수정 내용 등 또는 필용한 내용을 정리하기 위해 작성되었습니다. 일급 함수(first-class) 일급 함수(first-class)는 객체 지향 프로그래밍(object-oriented programming) 중에서 파이썬을 포함한 몇몇 프로그래밍 언어에서 발견할 수 있는 개념이다. 아래는 이를 잘 드러내는 파이썬의 철학이다. '모든 것은 객체(object)다' 객체는 숫자, 문자열, 튜플, 리스트, 딕셔너리, 그리고 함수를 포함한다. 함수는 그 중에서도 일급 시민(first-class citizen)이다... 2017. 9. 20. 이전 1 ··· 10 11 12 13 14 다음