NLP 성장러의 아카이브

github.com/yunjey/stargan/issues/46 를 참고하였다. 구글 Colaboratory에서 진행한다. GPU는 필요 없다. !apt-get install -y -qq software-properties-common python-software-properties module-init-tools !add-apt-repository -y ppa:alessandro-strada/ppa 2>&1 > /dev/null !apt-get update -qq 2>&1 > /dev/null !apt-get -y install -qq google-drive-ocamlfuse fuse from google.colab import auth auth.authenticate_user() from oauth2..

'에이콘' 출판사의 [예제로 배우는 자연어 처리 기초] 책을 참고하여 자연어 처리의 기초 개념을 기록한 포스팅입니다. - 데이터는 구조에 따라 정형, 준정형, 비정형으로 나눠진다 정형 데이터 : 엑셀/csv 파일과 같은 표 형식 준정형 데이터 : 주로 xml/html 파일, 명확한 패턴에 따라 태그 사이에 정보를 저장 표 형식으로 변환이 가능 비정형 데이터 : 단순 텍스트, 이미지 처리하기 가장 어려움 - 데이터는 내용에 따라 텍스트, 이미지, 오디오, 비디오로 나눠진다 - 정규 표현식 ab? : a 뒤에 0 또는 하나의 b가 온다 ab* : a 뒤에 0 또는 b가 계속된다 ab+ : a 뒤에 b가 1개 이상 온다 ab{2} : a 뒤에 2개의 b가 온다 ab{3,5}? : a 뒤에 4개의 b가 온다 ^..

DeepFashion2 dataset을 다운로드하는데 오류 때문에 헤매서 누군가에게 도움이 될까 해서 적어본다. DeepFashion2 Github -> https://github.com/switchablenorms/DeepFashion2 switchablenorms/DeepFashion2 DeepFashion2 Dataset https://arxiv.org/pdf/1901.07973.pdf - switchablenorms/DeepFashion2 github.com DeepFashion2 dataset 공유 구글 드라이브 -> https://drive.google.com/drive/folders/125F48fsMBz2EF0Cpqk6aaHet5VH399Ok 위 주소로 들어가면 아래와 같이 뜬다. 여기서 t..

Anaconda가 설치되어 있으면 Pytorch를 편리하게 설치할 수 있다고 한다. 내 노트북에는 Python 3.7 버전의 Anaconda 4.7.12 버전이 설치되어 있다. Anaconda 설치 -> https://www.anaconda.com/products/individual Individual Edition 🐍 Open Source Anaconda Individual Edition is the world’s most popular Python distribution platform with over 20 million users worldwide. You can trust in our long-term commitment to supporting the Anaconda open-source ec..

Mecab 분석기는 기본적으로 Windows에서는 사용이 불가하다. 그래서 나는 구글 Colaboratory의 GPU 환경에서 리눅스를 사용하였다. Mecab을 사용하려면 mecab-ko 와 mecab-ko-dic 을 모두 다운로드 해야한다. Mecab 설치 방법에 대한 자세한 정보는 https://bitbucket.org/eunjeon/mecab-ko/src/master/README.md 에서 확인한다. 0) Colab 세팅 우선 Colab에서 런타임 - 런타임 유형 변경 - 하드웨어 가속기를 GPU로 선택한다. 그리고 아래와 같이 입력하여 구글 드라이브와 Colab을 연동한다. 두 번의 계정 인증이 필요하다. !apt-get install -y -qq software-properties-common ..

1. Anaconda을 설치한다. https://www.anaconda.com/distribution/#download-section 에 들어가서 Python 3.7 version 64-bit 파일을 다운받았다. Python은 따로 설치해주지 않았다! (기존에 설치되있던 Python이 Anaconda에서 사용하는 Python과 버전 차이로 에러가 발생해서 기존 파이썬은 지웠다) 2. Anaconda Prompt를 관리자 권한으로 실행하여 내 작업 디렉토리로 이동하였다. (ex: > cd C:\Users\사용자명) 3. > python -m pip install --upgrade pip 를 입력하여 pip를 업그레이드 해준다. 4. > conda create -n tensorflow python=3.7 를..

Python 3.7 환경에서 word2vec을 사용해볼 것이다. '자연어 처리와 컴퓨터 언어학'이라는 책을 참고했다. 우선 gensim 이 설치되어 있지 않으므로 cmd 창을 열어 > pip install gensim 을 입력해 설치해준다. 그런 다음 jupyter를 실행해 from gensim.models import word2vec 와 같이 word2vec 모델을 임포트한다. ※ word2vec.Word2vec 클래스의 파라미터 모아 보기 더보기 sg : 알고리즘을 지정한다. 0(기본값)이면 CBOW, 1이면 skip-gram size : 벡터의 차원 수 window : 현재 단어와 예측 단어 간의 거리 alpha : 초기 학습률 seed : 임의 숫자를 생성할 때 사용하는 값 min_count : ..

설치 KoNLPy 홈페이지 https://konlpy-ko.readthedocs.io/ko/v0.4.3/ 에서 사용하기 - 설치하기 - 윈도우를 클릭해보면 다음과 같은 과정이 나온다. KoNLPy를 사용하기 위해서는 반드시 이 순서대로 진행해야 정상적으로 작동한다. (마음대로 설치하다가 다 지우고 다시 설치함ㅠㅠ) 이제 설치해보자. 1. Java 설치 -> https://www.java.com/ko/download/win10.jsp 2. jdk 설치 -> https://www.oracle.com/technetwork/java/javase/downloads/index.html 3. JAVA_HOME 설정 제어판 - 시스템 속성 - 환경 변수 - 사용자 변수 - 새로 만들기/편집 누른 후 변수: JAVA_H..