NLP 성장러의 아카이브

'ERROR: Could not install packages due to an OSError: [WinError 5] 액세스가 거부되었습니다' pip install 라이브러리명 이 에러는 주로 위 커맨드로 라이브러리를 설치할 때 발생하는 에러이다. 이 경우 보통 프롬프트를 '관리자 권한으로 실행' 으로 열면 해결 되는데, 웬일인지 이번에는 그래도 해결이 안되었다. 해결 방법은 '관리자 권한으로 실행' 및 pip를 업그레이드해주는 것이었다. python -m pip install --upgrade pip

GitHub 링크: https://github.com/facebookresearch/faiss GitHub - facebookresearch/faiss: A library for efficient similarity search and clustering of dense vectors. A library for efficient similarity search and clustering of dense vectors. - GitHub - facebookresearch/faiss: A library for efficient similarity search and clustering of dense vectors. github.com FAISS 설명 : 유사한 벡터를 검색해서 가져오는 facebook의 라이..

conda로 가상환경도 만들고 faiss 설치도 했지만 import faiss 를 하면 '_swigfaiss ImportError: DLL load failed: 지정된 모듈을 찾을 수 없습니다.' 라는 에러가 발생했다. 해결 방법은 간단했다. https://github.com/facebookresearch/faiss/issues/1755 에서 도움을 얻었다 :) 1. 기존에 쓰던 가상환경 말고, 새로운 가상환경을 만든다. conda create -n 가상환경이름 python=3.x# 예시: conda create -n myvenv python=3.8 conda activate 가상환경이름 2. cmd창에서 jupyter notebook을 켰었는데, Anaconda prompt에서 jupyter note..

outputs = self.bert(...) sequence_output outputs[0] shape: (batch_size, max_seq_length, hidden_size) 입력 문장의 각 토큰에 대해 임베딩된 값 pooled_output outputs[1] shape: (batch_size, hidden_size) 입력 문장 전체에 대한 [CLS] 토큰의 임베딩 값 Classification 태스크에서는 pooled_output 값을 사용한다. 참고: https://www.kaggle.com/questions-and-answers/86510

분명 윈도우 비밀번호를 정확히 입력했는데 비밀번호가 일치하지 않는다며 로그인이 안되는 문제가 발생했다. 그래서 아래 블로그를 참고하여 해결하였다. https://howwiki.net/how-to-unlock-windows-10-without-usb-if-you-forgot-your-password/ https://howwiki.net/how-to-change-windows-10-login-password-to-usb/ USB 부팅 디스크를 이용하기 위해 USB를 꽂은 다음, 윈도우를 재부팅하면서 Delete 키를 연속으로 눌러서 아래와 같은 창을 띄운다. SETTINGS - 부팅 - Boot Option #1을 삽입한 USB로 선택 - Esc - '저장하고 종료' 선택 - '변경 내용을 저장하고 재부팅'..

논문 링크: https://arxiv.org/abs/2107.07567 Beyond Goldfish Memory: Long-Term Open-Domain Conversation Despite recent improvements in open-domain dialogue models, state of the art models are trained and evaluated on short conversations with little context. In contrast, the long-term conversation setting has hardly been studied. In this work we collect and r arxiv.org Abstract 현재 SOTA 모델들은 context가 거..

논문 링크: https://arxiv.org/abs/2107.07566 Internet-Augmented Dialogue Generation The largest store of continually updating knowledge on our planet can be accessed via internet search. In this work we study giving access to this information to conversational agents. Large language models, even though they store an impressive amount of k arxiv.org Abstract 기존의 문제점 대화 응답을 생성할 때, 사실을 환각(hallucinate)하는..

Greedy Decoding 해당 시점에서 확률이 제일 높은 것 하나만 선택. 입력이 동일할 경우 매번 같은 문장이 나옴 파라미터: do_sample=False Beam Search 확률이 높은 토큰을 k개씩 선택. 각 beam에서 k개씩 선택하고, 또 새로 생성된 값들 중 누적 확률이 가장 높은 k개만 선택하는 방식 어떤 beam에서 가 나오면 해당 beam은 최종 선택 후보가 되며, 해당 beam은 k개 중에서 빠짐 이에 따라 k개를 채우기 위해 상위 k+1번째였던 값이 그 자리를 채움 이 과정은 가 나온 beam이 k개가 될 때까지 진행 그 후 k개의 후보 중 누적 확률이 가장 높은 beam을 선택 입력이 동일할 경우 매번 같은 문장이 나옴 파라미터: do_sample=False, num_beams..