NLP 성장러의 아카이브

conda 가상환경에서 라이브러리를 설치했을 때, 어딘가 설정이 잘못되어서 가상환경 하위 폴더가 아니라 서버의 로컬 폴더에 설치되었다. 따라서 가상환경마다 라이브러리를 다른 버전으로 쓸 수가 없어서 가상환경을 쓰는 의미가 없었다. 가상환경을 제대로 사용하기 위해 이를 해결해보자. 문제 확인하기 $PATH 환경변수를 출력해보니 다음과 같이 출력되었다. '-bash: /home/사용자명/.local/bin: /home/사용자명/anaconda3/envs/가상환경명/bin: /home/사용자명/anaconda3/condabin: /usr/local/sbin: /usr/local/bin:/usr/sbin: /usr/bin:/sbin:/bin:/usr/games: /usr/local/games:/snap/bin:..

Embed, encode, attend, predict: The new deep learning formula for state-of-the-art NLP models · Explosion Over the last six months, a powerful new neural network playbook has come together for Natural Language Processing. The new approach can be summarised as a simple four-step formula: embed, encode, attend, predict. This post explains the components of this explosion.ai Embedding과 Encoding의 개념..

from __future__ import annotations SyntaxError: future feature annotations is not defined Python 3.6 환경에서 잘 돌아가던 코드가, 다른 라이브러리를 추가 설치하고 나니 위와 같은 메시지가 출력되며 에러가 났다. 검색해보니 통용적인 해결책은 Python 3.7 버전 이상으로 업그레이드해주는 것이다. 하지만 나는 3.6 버전에서 이전까지 잘 돌리고 있었고 돌려야하는 상황이었다. 에러가 나는 부분은 이와 같았다. 최근에 설치한 라이브러리가 fairseq였는데 잘 돌아가던게 갑자기 안 돌아가는 이유는 이 라이브러리 때문일 수 밖에 없었다. 위 캡처에서 fairseq과 비슷한 이름인 fairscale이 수상해서 import fairs..

가상환경 생성 conda create --name 가상환경이름 python=파이썬버전 가상환경 삭제 conda env remove --name 가상환경이름 가상환경 복제 conda create --name 새로운가상환경이름 --clone 복제할가상환경이름

$ pip3 install tkinter 를 입력하니 아래와 같은 에러 메시지가 떴다. Defaulting to user installation because normal site-packages is not writeable ERROR: Could not find a version that satisfies the requirement tkinter (from versions: none) ERROR: No matching distribution found for tkinter 해결 방법 sudo apt-get install python3-tk 루트 권한이 필요하다. 더보기 python3 -m pip install --upgrade pip python3 -m pip install tk 이 방법도 해보았는..

예를 들어 GPU가 3대 있는 서버에서 2번 GPU를 사용해야 한다면, 아래 명령어처럼 실행해준다. CUDA_VISIBLE_DEVICES=2 python run.py CUDA_VISIBLE_DEVICES에 사용할 GPU id를 지정해준다. + 참고 위 방식대로만 사용하면 되는데, 나의 경우 추가적으로 설정을 잘못해서 'RuntimeError: CUDA error: invalid device ordinal' 에러가 발생했다. def makeMultiTurnChatbot(model_name, from_file=None, device="cuda:0"): model = BartForDialogueGeneration.from_pretrained(model_name).to(device) ... 원래 코드에서 dev..

에러 메시지를 보고 데이터 상의 문제인가 했으나, sacrebleu==2.0.0 버전에서 발생하는 문제였다. 해결 방법은 sacrebleu 버전을 낮춰주면 된다. pip install sacrebleu==1.4.14 참고 https://github.com/hemingkx/ChineseNMT/issues/10

'RuntimeError: Unexpected error from cudaGetDeviceCount(). Did you run some cuda functions before calling NumCudaDevices() that might have already set an error? Error 804: forward compatibility was attempted on non supported HW' 원래 잘 돌아가던 코드가 갑자기 실행하니 위와 같은 에러가 발생했다. $ nvidia-smi 를 입력했을 때 not found가 뜬다면 코드 상의 문제가 아니라 서버의 문제이다. 해결방법은 서버를 재시작해주면 된다. $ reboot