NLP 성장러의 아카이브

"UnicodeEncodeError: 'utf-8' codec can't encode characters in position : surrogates not allowed" 기존의 데이터 파일을 전처리한 후 저장하려는 코드에서 에러가 발생했다. 구글링해보니 다양한 방법들이 나오는데, 나의 경우는 기존 데이터 파일에 존재하는 유니코드 문자가 원인이었다. 따라서, 저장하기 전에 전체 텍스트에 대해 다음 코드로 유니코드 문자를 제거함으로써 에러를 해결했다. if not text.isascii(): text = ''.join([char for char in text if char.isascii()]).strip()

ModuleNotFoundError: No module named 'sklearn' 위 에러가 발생해서, sklearn 라이브러리를 설치하기 위해 $ pip install sklearn 커맨드를 수행했는데도 자꾸 이 에러가 발생했다. 해결 방법은 다음과 같다. 이 라이브러리를 설치하기 위해서는 다음 커맨드로 설치를 해야한다. $ pip install scikit-learn

'RuntimeError: CUDA error: no kernel image is available for execution on the device' 새로운 서버에서 라이브러리들을 설치하고 모델을 학습시키려했더니 위와 같은 에러가 발생했다. 에러 메시지를 보고 CUDA 설치와 관련된 무시무시한 에러인듯 보여서 걱정했는데, 간단히 해결 가능했다. 해결 방법 1.이 에러가 CUDA와 PyTorch 호환 관련된 문제라고 하므로, 설치되어 있는 PyTorch를 삭제한다. 2. https://developer.nvidia.com/cuda-gpus#compute 에 들어가서 본인이 사용중인 GPU를 찾아 Compute Capability 값을 확인한다. 3. $ export TORCH_CUDA_ARCH_LIST=..

"AttributeError: 'BartConfig' object has no attribute 'force_bos_token_to_be_generated'" BART 모델을 사용 중인데, self.config.force_bos_token_to_be_generated 이 부분으로부터 위와 같은 에러 메시지가 출력되었다. 'force_bos_token_to_be_generated'가 다른 명칭으로 바뀌었기 때문이다. 해결 방법은 'force_bos_token_to_be_generated'를 'forced_bos_token_id'로 수정해준다.

"WHAT, WHEN, and HOW to Ground: Designing User Persona-Aware Conversational Agents for Engaging Dialogue"라는 제목의 이 논문은 ACL 2023 Industry Track에 게재되었고, SK Telecom에서 작성한 논문이다. Personalize된 오픈 도메인 대화 시스템에서 응답 생성 시에 발생하는 WHAT, WHEN, HOW 문제를 해결하기 위한 방법을 제안하고 있다. 데이터셋 중점의 방법론을 제안하고 있으며, response-type label 생성을 통해서 확장된 효과를 취했다. 1 Introduction Personalized dialogue (PD) system에서는 일반적으로 주어진 페르소나 셋에서 현재 대화..

이번에 리뷰할 논문은 "P-Tuning v2: Prompt Tuning Can Be Comparable to Fine-tuning Universally Across Scales and Tasks"이다. 이는 ACL 2022에 short paper로 게재되었다. 본 논문에서 언급하는 기존 prompt tuning 연구의 한계점은 다음과 같다. 모델 크기가 작을 때(< 10B)에는 fine-tuning을 능가하지 못함 어려운 sequence labeling 태스크(ex: MRC, NER, SRL)에서는 fine-tuning을 능가하지 못함 본 논문의 contribution은 다음과 같다. properly optimized된 prompt tuning은 다양한 모델 크기와 NLU 태스크에서 fine-tuning..

[방법1] PyTorch 공식 문서 및 Wikidocs에서 더 자세한 설명을 볼 수 있다. import os import pandas as pd from torchvision.io import read_image from torch.utils.data import Dataset class CustomDataset(Dataset): def __init__(self, annotations_file, img_dir, transform=None, target_transform=None): self.img_labels = pd.read_csv(annotations_file, names=['file_name', 'label']) self.img_dir = img_dir self.transform = transfor..

RuntimeError: Error(s) in loading state_dict for GPT2LMHeadModel: size mismatch for transformer.wte.weight: copying a param with shape torch.Size([51200, 768]) from checkpoint, the shape in current model is torch.Size([51215, 768]). size mismatch for lm_head.weight: copying a param with shape torch.Size([51200, 768]) from checkpoint, the shape in current model is torch.Size([51215, 768]). 나의 경우 ..