icrawler.readthedocs.io/en/latest/builtin.html#search-engine-crawlers 의 코드를 따라서 매우 간단하게 크롤링을 할 수 있다. !pip install icrawler from icrawler.builtin import BaiduImageCrawler, BingImageCrawler, GoogleImageCrawler # Google에서 크롤링 google_crawler = GoogleImageCrawler( feeder_threads=1, parser_threads=1, downloader_threads=4, storage={'root_dir': '/content/drive/MyDrive/Crawling'}) filters = dict( size='l..
Python 3.7 설치하기
https://www.python.org/downloads/ 에 들어간다. Download Python The official home of the Python Programming Language www.python.org 가장 최신 버전을 다운받을 것이면 저 노란색 버튼을 누르면 된다. 나는 Python 3.7 버전을 다운받을 것이기 때문에 페이지 아래쪽으로 스크롤한다. Python 3.7.8 Download 버튼을 누른다. 컴퓨터가 64비트이면 노란색 표시한 파일(x86-64)을 받으면 되고, 32비트이면 맨 아래에서 두번째(x86) 파일을 받으면 된다. 한 3년 이내에 구매한 컴퓨터/노트북이라면 웬만하면 64비트일 것이다. installer 다운로드가 완료되면 실행시킨다. 'Add Python 3..
[Python] virtualenv로 가상 환경 만들기
https://www.python.org/downloads/ 에서 원하는 버전의 파이썬을 다운로드한다. (3.7.x 버전을 추천한다) Installer를 실행한 다음 Install Now (자동설치) 를 누를 것이면 파이썬 설치 위치를 기억해두고 Customize installation (수동설치) 을 선택해 파이썬 설치 위치를 직접 지정해도 된다. 설치가 완료되면 윈도우 검색 창에 시스템 환경 변수 편집을 검색한다. 그럼 시스템 속성 창이 뜨는데 환경 변수를 누르고 사용자 변수의 Path 변수에서 편집을 누른다. 파이썬설치위치 (ex: C:\Python37) 와 파이썬설치위치\Scripts (ex: C:\Python37\Scripts)를 새로 만들기 하고 확인을 누른다. 명령 프롬프트 창을 켜 > pi..
1. Anaconda을 설치한다. https://www.anaconda.com/distribution/#download-section 에 들어가서 Python 3.7 version 64-bit 파일을 다운받았다. Python은 따로 설치해주지 않았다! (기존에 설치되있던 Python이 Anaconda에서 사용하는 Python과 버전 차이로 에러가 발생해서 기존 파이썬은 지웠다) 2. Anaconda Prompt를 관리자 권한으로 실행하여 내 작업 디렉토리로 이동하였다. (ex: > cd C:\Users\사용자명) 3. > python -m pip install --upgrade pip 를 입력하여 pip를 업그레이드 해준다. 4. > conda create -n tensorflow python=3.7 를..
Python 3.7 환경에서 word2vec을 사용해볼 것이다. '자연어 처리와 컴퓨터 언어학'이라는 책을 참고했다. 우선 gensim 이 설치되어 있지 않으므로 cmd 창을 열어 > pip install gensim 을 입력해 설치해준다. 그런 다음 jupyter를 실행해 from gensim.models import word2vec 와 같이 word2vec 모델을 임포트한다. ※ word2vec.Word2vec 클래스의 파라미터 모아 보기 더보기 sg : 알고리즘을 지정한다. 0(기본값)이면 CBOW, 1이면 skip-gram size : 벡터의 차원 수 window : 현재 단어와 예측 단어 간의 거리 alpha : 초기 학습률 seed : 임의 숫자를 생성할 때 사용하는 값 min_count : ..
xlrd 모듈을 import하여 Python 3.7환경에서 엑셀 파일의 데이터를 읽어왔다. float형을 datetime형으로 바꾸기 convert_data = xlrd.xldate.xldate_as_datetime(data, workbook_name.datemode) workbook_name은 xlrd.open_workbook(file_path)를 할당한 변수이다. 이 코드를 실행하면 float형이었던 data가 '년-월-일 시:분:초' 형태의 datetime형인 convert_data로 바뀐다. float형을 date형으로 바꾸기 convert_data = xlrd.xldate.xldate_as_datetime(data, workbook_name.datemode) convert_data = conve..
Python에서 마법 공식(Magic Formula)을 이용해 주식 분석하기
[퀀트 전략 파이썬으로 세워라]라는 책을 참고하여 Python 3.7 환경에서 마법 공식(Magic Formula)를 이용하여 주식 분석을 해보겠습니다. 코드를 실행하기에 앞서, 작업하려는 폴더 아래에 'magic_formula_data.xlsx' 파일을 저장합니다. 이 파일에는 기업들의 PER값과 ROA값이 저장되어 있습니다. 파일을 열어보면 다음과 같습니다. 그런 다음 이 파일을 tensorflow가 설치되어 있는 Python 3 환경의 Jupyter Notebook에서 실행하겠습니다. 우선 엑셀을 읽어오는 모듈인 xlrd를 import해줍니다. 설치되어 있지 않다면 미리 Anaconda Prompt에서 pip install xlrd 명령을 통해 설치해줍니다. 그런 다음 xlrd 모듈의 open_wo..