NLP 성장러의 아카이브

1. https://console.cloud.google.com/ 에 가서 탐색 메뉴 - Compute Engine - VM 인스턴스- 인스턴스 만들기를 누른다. 인스턴스 이름을 원하는대로 입력하고, 리전은 나의 경우 가까운 서버를 이용하기 위해 asia-northeast3(서울)을 선택했다. 머신 구성에서는 머신 종류에 따라 가격이 달라지기 때문에 형편에 맞게 고른다. 나의 경우 많은 데이터를 크롤링하는데, 큰 데이터셋을 구축하는 데에 E2보다 N2가 좋다는 글을 보고 N2에서 CPU가 가장 작은 n2-standard-2로 진행해보았다. 인스턴스를 만들면 바로 실행이 되고 실행이 되는 동안에 계속해서 요금이 청구된다. (CPU만 사용하는 경우 인스턴스를 중지해놓으면 요금이 청구되지 않는다고 한다) (+..

'requests.exceptions.MissingSchema: Invalid URL 'h': No schema supplied.' 멀티 프로세싱을 위해 pool.map() 사용 시 위 에러가 발생했음 원인 : map()의 두번째 인자 형식이 다음과 같았음 ['a', 'a', 'a'] 해결 : 형식을 다음과 같이 변경 [['a'], ['a'], ['a']]

모델 학습 과정에서의 Loss를 그래프로 시각화하기 위해, Tensorboard를 이용하는 방법을 알아본다. 참조1 : seongkyun.github.io/others/2019/05/11/pytorch_tensorboard/ 참조2 : sensibilityit.tistory.com/512 참조한 블로그들이다. 이 포스팅에서는 핵심만 간략하게 설명할 것이니 자세한 설명이 필요하다면 위 블로그에서 확인하면 된다 :) 1. Tensorboard 설치하기 !pip install tensorboardX tensorflow도 설치되어 있어야한다고 한다. 2. 모듈 임포트 및 객체 생성 from tensorboardX import SummaryWriter summary = SummaryWriter() 3. loss ..

AttributeError: module 'tensorflow' has no attribute 'Session' 이 에러는 tensorflow 2 버전을 사용 중인데 실행하려는 코드에 tensorflow 1 버전에서 사용하는 Session() 함수가 있을 때 발생하는 에러이다. 해결 방법 > 해당 파일에서 with tf.Session() as sess: 부분을 with tf.compat.v1.Session() as sess: 와 같이 바꿔 준다.

'predict_proba is not available when probability=False' from sklearn.svm import SVC svm = SVC(kernel='linear', C=1.0, random_state=0) svm.fit(x_train, y_train) svm_probs = svm.predict_proba(x_test) Python에서 sklearn 라이브러리를 이용해 SVM 모델을 만들고 위 코드를 실행했을 때 마지막 줄에서 에러가 발생했다. 해결 방법은 SVC 객체 생성 시 파라미터에 probability=True 를 붙여준다. svm = SVC(kernel='linear', C=1.0, random_state=0, probability=True) 기본적으로 proba..

RuntimeError: CUDA out of memory. Tried to allocate 192.00 MiB (GPU 0; 15.90 GiB total capacity; 14.92 GiB already allocated; 3.75 MiB free; 15.02 GiB reserved in total by PyTorch) 이런 에러가 발생하는 이유는 batch size가 너무 크거나, 코드 상에서 메모리 누수가 발생했기 때문이라고 한다. batch size 크기를 줄여가면서 gpu 캐시를 비워주는 아래 코드를 실행해보니 해결이 되었다. import gc import torch gc.collect() torch.cuda.empty_cache() 참고 m.blog.naver.com/PostView.nhn?b..

import pymysql db = None try: db = pymysql.connect( host='127.0.0.1', user='사용자명', passwd='비밀번호', db='DB명', charset='utf8' ) Python에서 MySQL DB와 연결하기 위한 이 코드를 실행해야 했는데, MySQL을 설치해본 적이 없는 상황이었고 실행은 안되는데 책에 설명이 부족해 해맸기에 기록을 남긴다. 우선 MySQL을 설치한다. 설치 과정은 아래 블로그를 참조했다! m.blog.naver.com/bjh7007/221829548634 [MySQL] MySQL 다운로드 및 설치 방법(Workbench) 안녕하세요 이번에는 MySQL을 Windows10 운영체제에서 간단히 설치하는 방법에 대해서 알아보도록 하..

이 에러는 numpy 1.20 버전일 때 발생한다고 한다. 해결 방법은 numpy 1.19 버전으로 다운그레이드 해주면 된다. > pip install numpy==1.19.5 참고 stackoverflow.com/questions/58479556/notimplementederror-cannot-convert-a-symbolic-tensor-2nd-target0-to-a-numpy