1. Konlpy 설치 pip install konlpy pip install JPype1 2. Mecab-ko 설치 wget https://bitbucket.org/eunjeon/mecab-ko/downloads/mecab-0.996-ko-0.9.2.tar.gz tar xvfz mecab-0.996-ko-0.9.2.tar.gz cd mecab-0.996-ko-0.9.2 ./configure make make check sudo make install sudo ldconfig mecab --version make 명령어에서 에러가 난다면 sudo 권한으로 해보자. 3. Mecab-ko-dic 설치 wget https://bitbucket.org/eunjeon/mecab-ko-dic/downloads/me..
pip install 명령어로 라이브러리를 설치했는데도 계속 'ModuleNotFoundError: No module named '라이브러리명' 에러가 뜰 때가 있다. 라이브러리를 설치할때 잘 설치된 것처럼 보였으나 잘보니 'Defaulting to user installation because normal site-packages is not writeable' 라는 문구가 함께 써있었다. 이 에러는 서버 환경에 여러 버전의 Python이 설치되어 있을 때 발생한다고 한다. 해결 방법 $ python3 -m pip install 라이브러리명 Python 인터프리터를 명시해준다. 더 많은 해결방법은 아래 참고 https://itsmycode.com/solved-defaulting-to-user-insta..
[SentenceTransformer] special token 추가하기
공식 문서에서 위 방법을 제시하고 있다. 나의 경우 내 개인모델을 사용중인데 위 방법대로 하면 토크나이징은 잘 되나 model.encode() 코드 부분에서 에러가 났다. (에러 메시지: torch.nn.modules.module.ModuleAttributeError: 'Transformer' object has no attribute 'encode') 그래서 아래 방법을 사용했다. from sentence_transformers import SentenceTransformer, models model = SentenceTransformer("MY MODEL") tokens = ["TOK1", "TOK2"] word_embedding_model = model._first_module() word_embe..
torch==1.6.0, torchvision==0.7.0 버전을 설치해야하는데 pip install 로 설치하려하니 아래와 같은 에러 메시지가 뜬다. ERROR: Could not find a version that satisfies the requirement torch==1.6.0 (from versions: 1.7.0, 1.7.1, 1.8.0, 1.8.1, 1.9.0, 1.9.1, 1.10.0, 1.10.1, 1.10.2) ERROR: No matching distribution found for torch==1.6.0 해결 방법 !pip install torch===1.6.0 torchvision===0.7.0 -f https://download.pytorch.org/whl/torch_stabl..
에러 메시지: 'UnpicklingError: invalid load key ' 또는 'Segmentation fault (core dumped)' (라이브러리 버전에 따라 다르게 출력되는 듯함) pickle을 이용해 리스트를 파일로 저장하고 로드를 할 때, 1기가 파일에 대해서는 문제가 없었지만 같은 형식의 7기가 파일에 대해서는 에러가 났다. 구글링해보니 파일의 크기가 대략 2기가가 넘어가면 로드 시 자주 에러가 발생하는 것 같았다. 구글링을 통해 온갖 방법을 다 해보았는데 결국 해결되지 않았고 데이터 저장 과정에서 문제가 발생해 데이터 자체가 유효하지 않다는 판단을 내렸다. 결론은 파일을 지우고 다시 저장해야된다는 것이다. 나처럼 어떤 데이터를 파일로 직접 저장했다면 그 데이터 포맷으로 저장하는 과..
사용중인 환경이 python 2 버전이어서 3에서 내장되어있는 venv 를 사용할 수 없는 상황이다. virtualenv 를 통해 가상환경을 사용해야하므로 설치를 먼저 해준다. python -m pip install --user -U virtualenv $ apt install virtualenv 를 실행했을 때는 권한 문제로 (내가 root가 아님) 설치가 안되었었는데, 위 커맨드로 실행하면 설치가 된다. cd 작업디렉토리 virtualenv 가상환경이름 # 가상환경 생성 source 가상환경이름/bin/activate # 가상환경 활성화 완료!
tqdm으로 프로그레스 바를 정상적으로 나타내려면, tqdm으로 감싸는 값이 __len__()을 가져야한다. tqdm(enumerate(리스트)) # wrong tqdm(zip(리스트1, 리스트2)) # wrong tqdm(enumerate(zip(리스트1, 리스트2))) # wrong enumerate()와 zip()는 __len__()을 갖지 않기 때문에, 위 케이스들처럼 사용하면 프로그레스 바가 정상적으로 나타나지 않는다. enumerate(tqdm(리스트)) zip(tqdm(리스트1), 리스트2) enumerate(zip(tqdm(리스트1), 리스트2)) 위와 같이 길이 값을 얻을 수 있는 리스트에 직접 씌워서 사용해야 한다. zip을 사용하는 경우에는 리스트1과 리스트2의 길이가 같으므로 리스트..