티스토리
관련 서비스
  • Symbols스토리 홈바로가기바로가기
  • 브런치브런치스토리바로가기바로가기
  • 카카오스토리카카오스토리바로가기바로가기

NLP 성장러의 아카이브
검색하기
블로그 홈

블로그 홈

NLP 성장러의 아카이브

beausty23.tistory.com/m
신고

GitHub: https://github.com/BitnaKeum

구독자
7
방명록 방문하기
구독하기

주요 글 목록

  • [에러 해결] Python 3.12에서 kss 설치 오류 (pyyaml 의존성 문제) Python 3.10 환경에서 $ pip install kss 명령어로 설치할 때는 잘 됐었는데, Python 3.12 환경에서 시도하니 아래와 같은 에러가 발생했다.pyyaml을 설치하는 과정에서 에러가 발생하는 것으로 보인다. 구글링을 통해 Windows 환경에서 pyenv를 통해 다른 버전의 Python을 설치해 해결하는 방법 (링크)을 찾았으나, 내가 처한 상황에서는 활용할 수 없는 방법이었다.  다른 해결 방법을 찾던 중, kss 깃헙 레포에 정확히 이 문제에 대한 Issue (링크)가 올라와있는 것을 발견할 수 있었다!위 글을 참고하면, 이 문제가 발생하는 원인은 kss는 pyyaml==6.0과 의존성이 있으나, Python 3.12 환경에서 pyyaml==6.0이 정상적으로 빌드되지 않기 때.. 공감수 2 댓글수 0 2025. 3. 28.
  • LoRA (Low-Rank Adaptation)에 대해 알아보자 최근 Large Language Model (LLM)이 다양한 태스크에서 뛰어난 성능을 보임에 따라, LLM을 원하는 태스크에 맞게 fine-tuning하여 사용하려는 니즈가 많다.그런데 LLM은 이름에 나와 있듯이 굉장히 많은 파라미터 (10B은 기본..)를 가지고 있기 때문에, full fine-tuning을 하려면 많은 메모리와 시간이 든다.그래서 사전학습된 LLM의 모든 파라미터를 튜닝하지 않고, 수행하고자 하는 특정 태스크를 위한 소량의 파라미터만을 추가적으로 학습하여 adaptation하는 lightweight fine-tuning이 주목받고 있다.그 중에서 최근 가장 많이 사용되는 LoRA (Low-Rank Adaptation)에 대해 알아보려고 한다. 글 작성에 도움을 받은 참고 링크들이다.. 공감수 1 댓글수 0 2024. 5. 4.
  • [SQL] 문법 정리 및 예제 SQL 실행되는 순서 : FROM - WHERE - GROUP BY - HAVING - SELECT - ORDER BY CREATE 절 사용자 생성 CREATE USER 사용자명 IDENTIFIED BY 비밀번호; 테이블 생성 CREATE TABLE 테이블명( 컬럼명 타입 제약조건, # 제약조건(생략 가능): NOT NULL / NULL / UNIQUE(=중복X) PRIMARY KEY (컬럼명), # 생략 가능, NOT NULL & UNIQUE 조건을 포함함 FOREIGN KEY (컬럼명) REFERENCES 관계테이블명(관계테이블 컬럼명), # 관계테이블 컬럼은 관계테이블의 PRIMARY KEY여야함 ); ALTER 절 테이블 수정 ALTER TABLE 테이블명 RENAME 새테이블명; ALTER TA.. 공감수 0 댓글수 1 2024. 2. 13.
  • Meta의 LLaMA 2에 대해 알아보자 Meta에서 23년 7월 19일에 공개한 이후, 수많은 LLM들의 foundation model로 사용되고 있는 LLaMA 2에 대해 정리하려고 한다. LLaMA 2 논문 과 daewoo kim님의 블로그 를 참조하여 작성하였음을 밝힌다. 해당 블로그에 정리가 잘 되어 있어 도움을 많이 받았다. (노션에 가볍게 정리하다가 꽤 길어져서 블로그에 옮기는 중. 티스토리에서 그림이 자꾸 깨진다ㅠ) LLaMA 2 (23년 7월 공개)는 LLaMA 1 (23년 2월 공개)를 발전시킨 모델 self-supervised learning으로 학습 사전학습 데이터 40% 증가 (1.4T tokens → 2T tokens) Context length 2배 증가 (2K → 4K) Grouped-query attention 사.. 공감수 0 댓글수 1 2023. 12. 24.
  • KL-Divergence Loss KL-Divergence (KLD)는 쉽게 말해, 정답(ground-truth) 분포와 예측(prediction) 분포가 얼마나 유사한지/다른지를 측정하는 방법이다. KLD의 값이 낮을수록 두 분포가 유사함을 의미한다. $P(x)$를 실제 분포, $Q(x)$를 예측 분포라고 할 때, KLD loss는 다음 수식으로 나타낼 수 있다. $$ KLD = \displaystyle\sum_{x} P(x) \log \frac{P(x)}{Q(x)} = \displaystyle\sum_{x} P(x) \log P(x) - \displaystyle\sum_{x} P(x) \log Q(x) $$ 추가적으로, 우항에서 $\displaystyle\sum_{x} P(x) \log P(x)$는 $-Entropy$ 이고, $- \.. 공감수 0 댓글수 1 2023. 12. 23.
  • [에러 해결] RuntimeError: ProcessGroupNCCL is only supported with GPUs, no GPUs found! 나의 상황은 다음과 같다. Docker 환경에서 $ docker run -it {IMAGE_NAME} 명령어를 통해 container를 만들어 실행했다. 그리고 해당 서버의 GPU 2대를 활용해 모델 추론을 하려고 했는데 이 에러가 발생했다. 에러 메시지를 보면 GPU가 인식되지 않고 있는 상황인데, 추론 코드에는 문제가 없었다. 문제의 원인은 container를 만들 때부터였다. 단순하게 $ docker run -it {IMAGE_NAME} 명령어로 container를 만들었었는데, 이렇게 되면 서버에 있는 gpu가 할당되지 않는다. 그래서 container 내에서 gpu를 인식하지 못한 것이다. 이 문제를 해결하려면, container를 만들 때 할당할 GPU 번호를 명시해줘야 한다. --gpus 파.. 공감수 0 댓글수 1 2023. 11. 24.
  • Docker 사용법 1. 사용할 docker image 선택 dockerhub로부터 사용할 docker image를 검색한다. 2. docker container 생성 및 실행하기 생성과 실행을 각각 따로 하는 명령어도 있지만, 한번에 하려면 docker run 명령어를 사용하면 된다. 아래 명령어들 중 원하는 것을 사용한다. container 이름을 랜덤하게 지정해 만들기 $ docker run -it {IMAGE_NAME} container 이름을 지정해서 만들기 $ docker run -it --name {CONTAINER_NAME} {IMAGE_NAME} --name 파라미터를 통해서 생성할 container의 이름을 지정할 수 있다. container 이름 지정 & GPU 할당해서 만들기 $ docker run -.. 공감수 1 댓글수 2 2023. 11. 21.
  • [에러해결] 'bash: git: command not found' 'bash: git: command not found' linux 환경에서 docker container를 새로 만들고 git clone 명령어를 수행하니 위와 같은 에러가 발생했다. 간단한 에러인데 구글링했을 시에 명료한 해결책이 바로 나오지 않아서 기록해둔다. 해결 방법은 다음과 같다. $ apt update $ apt install -y git 공감수 0 댓글수 0 2023. 11. 16.
  • word to pdf 글꼴 서식 바뀌는 문제 해결 MS office의 Word에서 문서를 작성 후 파일 - 다른 이름으로 저장 - pdf 로 저장하니, 폰트가 변경되고 글의 배치가 바뀌는 등 내가 작성한 파일의 양식 그대로 저장되지가 않았다. 기본 폰트가 아니라 새로 다운로드한 폰트를 사용중이어서 이런 문제가 발생한 것 같다. 구글링 해서 찾은 방법대로 jpeg 파일로 저장 후 pdf로 열어보기도 하고, 다른 pdf reader 프로그램을 설치도 해봤지만 해결이 안됐다. 마침내 찾은 해결 방법은, 파일 - 인쇄 - 프린터를 'Microsoft Print to PDF'로 설정 - 인쇄 버튼을 클릭하는 것이다. 다만, 나의 경우 폰트나 줄 간격 등은 모두 유지되었으나 페이지의 윗단 여백이 기존보다 넓어졌다. 그래서 word 파일에서 여백을 줄인 후 다시 p.. 공감수 2 댓글수 0 2023. 11. 7.
  • [에러 해결] UnicodeEncodeError: 'utf-8' codec can't encode characters in position : surrogates not allowed "UnicodeEncodeError: 'utf-8' codec can't encode characters in position : surrogates not allowed" 기존의 데이터 파일을 전처리한 후 저장하려는 코드에서 에러가 발생했다. 구글링해보니 다양한 방법들이 나오는데, 나의 경우는 기존 데이터 파일에 존재하는 유니코드 문자가 원인이었다. 따라서, 저장하기 전에 전체 텍스트에 대해 다음 코드로 유니코드 문자를 제거함으로써 에러를 해결했다. if not text.isascii(): text = ''.join([char for char in text if char.isascii()]).strip() 공감수 1 댓글수 0 2023. 9. 19.
  • [에러 해결] ModuleNotFoundError: No module named 'sklearn' ModuleNotFoundError: No module named 'sklearn' 위 에러가 발생해서, sklearn 라이브러리를 설치하기 위해 $ pip install sklearn 커맨드를 수행했는데도 자꾸 이 에러가 발생했다. 해결 방법은 다음과 같다. 이 라이브러리를 설치하기 위해서는 다음 커맨드로 설치를 해야한다. $ pip install scikit-learn 공감수 0 댓글수 0 2023. 9. 16.
  • [에러 해결] RuntimeError: CUDA error: no kernel image is available for execution on the device 'RuntimeError: CUDA error: no kernel image is available for execution on the device' 새로운 서버에서 라이브러리들을 설치하고 모델을 학습시키려했더니 위와 같은 에러가 발생했다. 에러 메시지를 보고 CUDA 설치와 관련된 무시무시한 에러인듯 보여서 걱정했는데, 간단히 해결 가능했다. 해결 방법 1.이 에러가 CUDA와 PyTorch 호환 관련된 문제라고 하므로, 설치되어 있는 PyTorch를 삭제한다. 2. https://developer.nvidia.com/cuda-gpus#compute 에 들어가서 본인이 사용중인 GPU를 찾아 Compute Capability 값을 확인한다. 3. $ export TORCH_CUDA_ARCH_LIST=.. 공감수 1 댓글수 1 2023. 9. 1.
  • [에러 해결] AttributeError: 'BartConfig' object has no attribute 'force_bos_token_to_be_generated "AttributeError: 'BartConfig' object has no attribute 'force_bos_token_to_be_generated'" BART 모델을 사용 중인데, self.config.force_bos_token_to_be_generated 이 부분으로부터 위와 같은 에러 메시지가 출력되었다. 'force_bos_token_to_be_generated'가 다른 명칭으로 바뀌었기 때문이다. 해결 방법은 'force_bos_token_to_be_generated'를 'forced_bos_token_id'로 수정해준다. 공감수 0 댓글수 0 2023. 8. 18.
  • [논문 리뷰] WHAT, WHEN, and HOW to Ground: Designing User Persona-Aware Conversational Agents for Engaging Dialogue "WHAT, WHEN, and HOW to Ground: Designing User Persona-Aware Conversational Agents for Engaging Dialogue"라는 제목의 이 논문은 ACL 2023 Industry Track에 게재되었고, SK Telecom에서 작성한 논문이다. Personalize된 오픈 도메인 대화 시스템에서 응답 생성 시에 발생하는 WHAT, WHEN, HOW 문제를 해결하기 위한 방법을 제안하고 있다. 데이터셋 중점의 방법론을 제안하고 있으며, response-type label 생성을 통해서 확장된 효과를 취했다. 1 Introduction Personalized dialogue (PD) system에서는 일반적으로 주어진 페르소나 셋에서 현재 대화.. 공감수 0 댓글수 0 2023. 8. 15.
  • [논문 리뷰] P-Tuning v2: Prompt Tuning Can Be Comparable to Fine-tuning Universally Across Scales and Tasks 이번에 리뷰할 논문은 "P-Tuning v2: Prompt Tuning Can Be Comparable to Fine-tuning Universally Across Scales and Tasks"이다. 이는 ACL 2022에 short paper로 게재되었다. 본 논문에서 언급하는 기존 prompt tuning 연구의 한계점은 다음과 같다. 모델 크기가 작을 때(< 10B)에는 fine-tuning을 능가하지 못함 어려운 sequence labeling 태스크(ex: MRC, NER, SRL)에서는 fine-tuning을 능가하지 못함 본 논문의 contribution은 다음과 같다. properly optimized된 prompt tuning은 다양한 모델 크기와 NLU 태스크에서 fine-tuning.. 공감수 0 댓글수 0 2023. 8. 1.
  • [PyTorch] 데이터 처리하기 (Dataset, DataLoader, ImageFolder) [방법1] PyTorch 공식 문서 및 Wikidocs에서 더 자세한 설명을 볼 수 있다. import os import pandas as pd from torchvision.io import read_image from torch.utils.data import Dataset class CustomDataset(Dataset): def __init__(self, annotations_file, img_dir, transform=None, target_transform=None): self.img_labels = pd.read_csv(annotations_file, names=['file_name', 'label']) self.img_dir = img_dir self.transform = transfor.. 공감수 0 댓글수 0 2023. 7. 11.
  • [에러 해결] RuntimeError: Error(s) in loading state_dict RuntimeError: Error(s) in loading state_dict for GPT2LMHeadModel: size mismatch for transformer.wte.weight: copying a param with shape torch.Size([51200, 768]) from checkpoint, the shape in current model is torch.Size([51215, 768]). size mismatch for lm_head.weight: copying a param with shape torch.Size([51200, 768]) from checkpoint, the shape in current model is torch.Size([51215, 768]). 나의 경우 .. 공감수 0 댓글수 0 2023. 6. 7.
  • requirements.txt의 특정 라이브러리만 특정 url에서 install하기 어떤 프로젝트를 실행하는 데에 필요한 라이브러리들을 버전과 함께 requirements.txt 파일에 적어두고, $ pip install -r requirements.txt 명령어를 수행하면 해당 파일 내에 적힌 라이브러리들을 일괄 설치할 수 있다. 이 명령어는 default로 PyPI url로부터 라이브러리를 설치한다. 그런데, 가끔 어떤 라이브러리는 PyPI가 아닌 특정한 url로부터 설치해야 하는 경우가 있다. 나의 경우는 paddlepaddle 라이브러리를 설치하는 과정에서, $ pip install paddlepaddle로 설치를 하면 실행 중에 에러가 나고 $ pip install paddlepaddle -i https://mirror.baidu.com/pypi/simple 로 설치를 해야 잘.. 공감수 0 댓글수 0 2023. 4. 28.
  • [Python] Distinct metric 측정 방법 (by paddlenlp) Distinct는 생성된 응답의 다양성을 평가하기 위한 것으로, A Diversity-Promoting Objective Function for Neural Conversation Models paper에서 제안된 metric이다. 보통 input에 대해 output이 특정하게 정해져 있지 않고 다양한 output이 올 수 있는 오픈도메인 대화 task에서 평가 metric으로 자주 사용된다. paddlenlp 라이브러리를 사용해 Distinct를 측정하기 위해서 다음을 설치한다. $ pip install --upgrade paddlenlp>=2.0.0rc -i https://pypi.org/simple $ pip install paddlepaddle -i https://mirror.baidu.com/p.. 공감수 0 댓글수 0 2023. 4. 28.
  • [Python] paddlenlp 라이브러리 설치 paddlenlp.metrics에 있는 모듈을 사용하려는데, 항상 설치 과정에서 에러가 발생했다. 중국에서 만든 라이브러리다보니 관련 문서들이 대부분 중국어로 되어있고, 주기적인 문서 업데이트가 안 되고 있는 것 같아 정리한다. paddlenlp 공식 문서에 따르면, paddlenlp를 설치하는 명령어는 다음과 같다. $ pip install --upgrade paddlenlp>=2.0.0rc -i https://pypi.org/simple # $ pip install --upgrade paddlenlp>=2.0.0rc과 동일 문서에서는 paddlenlp만 설치하면 되는 것처럼 나와있지만 실제로 해보면 "No module named 'paddle'" 에러 메시지가 출력된다. paddle 모듈을 설치하기 .. 공감수 0 댓글수 0 2023. 4. 28.
  • [Pytorch] nn.BCELoss(), nn.CrossEntropyLoss() nn.BCELoss() label이 0 또는 1인 Binary Classification을 위해서는 nn.BCELoss()를 사용할 수 있다. 이때 주의할 사항은 다음과 같다. 1. input에 sigmoid() 함수를 씌운 후에 loss function에 넣어야한다. 2. input과 target은 동일한 shape이어야 한다. 3. input과 target의 데이터 타입이 모두 Float이어야 한다. Example: import torch.nn as nn loss_func = nn.BCELoss() sigmoid = nn.Sigmoid() input = torch.randn(size=(2, 4))# shape: (2, 4), dtype: float32 target = torch.FloatTensor(.. 공감수 0 댓글수 0 2023. 4. 12.
  • [에러 해결] load_state_dict()에서 'Unexpected key' or 'Missing key' 에러 RuntimeError: Error(s) in loading state_dict : Unexpected key(s) in state_dict: "bert.embeddings.position_ids" GPU에서 train한 모델을 CPU에서 test하려고 하니 위와 같은 에러 메시지가 발생했다. 에러가 난 코드는 이 부분이었다. model.load_state_dict(torch.load(state_save_path, map_location='cpu')) state_dict를 불러오는 과정에서 서버 환경이 달라져서 key 값이 매칭이 되지 않아 발생한 에러다. 해결 방법은 load_state_dict()에 strict=False를 추가해주면 된다. 이를 추가해주면 state_dict를 불러올때 모든 key를.. 공감수 0 댓글수 0 2023. 4. 9.
  • 서버 internet connection 에러 해결 서버 internet connection에 문제가 있을 경우 다음과 같은 에러 메시지들이 출력된다. 에러 메시지 1 'ValueError: Connection error, and we cannot find the requested files in the cached path ...' Huggingface에서 사전학습된 모델을 내려받으려 했는데, 원래는 잘 작동했지만 요즘 서버가 불안정해서 그런지 위와 같은 에러 메시지가 출력되었다. 에러 메시지 2 'fatal: unable to access 'https://github.com/~.git/': Could not resolve host: github.com' git clone 시에도 위와 같은 에러 메시지가 출력되면서 동작하지 않는다. 에러 메시지 3 'F.. 공감수 0 댓글수 0 2023. 4. 7.
  • [에러 해결] conda create 시에 'CondaHTTPError: HTTP 000 CONNECTION FAILED for url' Collecting package metadata (current_repodata.json): failed CondaHTTPError: HTTP 000 CONNECTION FAILED for url Elapsed: - An HTTP error occurred when trying to retrieve this URL. HTTP errors are often intermittent, and a simple retry will get you on your way. If your current network has https://www.anaconda.com blocked, please file a support request with your network engineering team. Connection.. 공감수 5 댓글수 0 2023. 4. 7.
  • 공백이나 기호가 있는 파일명 import하기 'main.py'라는 파일이 있을 때, 이 파일을 통째로 import하려면 다음과 같이 작성하면 된다. import main 그런데 'main 2.py'나 'main-2.py'와 같이 공백이나 특정 기호가 있는 파일은 위 방법대로 import하면 syntax error가 발생한다. 이럴 때는 importlib 모듈을 사용하면 된다. import importlib main = importlib.import_module('main 2') main = importlib.import_module('main-2') 공감수 0 댓글수 0 2023. 3. 10.
  • 모델의 특정 layer를 freeze시키기 모델의 특정 layer를 freeze시키면, 학습 과정에서 Back Propagation이 일어날 때 freeze된 layer의 파라미터들은 weight가 업데이트되지 않고 유지된다. freeze시키는 방법은 간단하다. 해당 layer의 파라미터들에 대해 requires_grad = False로 설정해주면 된다. from transformers import AutoModel def freeze_params(model): for par in model.parameters(): par.requires_grad = False def show_requires_grad(model): for name, param in model.named_parameters(): print(name, ': ', param.requ.. 공감수 0 댓글수 0 2023. 2. 2.
  • [에러 해결] RuntimeError: CUDA error: device-side assert triggered 'RuntimeError: CUDA error: device-side assert triggered' 이 에러는 가질 수 있는 값의 범위를 벗어나는 값이 들어왔을 때 발생한다. embed_tokens = nn.Embedding(vocab_size, hidden_size) ... embeds = embed_tokens(input_ids) # 에러 발생 나의 경우, 위 부분에서 에러가 발생했다. 내가 사용한 사전학습 모델에서의 tokenizer의 vocab_size는 30000이었는데, 여기에 special token을 10개 추가하고 아래와 같이 resize를 해주어서 vocab_size를 30010으로 설정했다. model.resize_token_embeddings(len(tokenizer)) (resi.. 공감수 0 댓글수 0 2023. 1. 20.
  • [에러 해결] UnicodeDecodeError: 'cp949' codec can't decode byte: illegal multibyte sequence with open('file.txt', 'r', encoding='utf8') as f: lines = f.readlines() python에서 텍스트 파일을 읽어들일 때 일반적으로 위와 같이 코드를 작성하는데, 이 때 인코딩 에러가 자주 발생하곤 한다. 'UnicodeDecodeError: 'cp949' codec can't decode byte 0xeb in position 15: illegal multibyte sequence' 이를 확실하게 해결하는 방법은 텍스트 파일을 '메모장'으로 열기 - 다른 이름으로 저장 - 인코딩(E)를 ANSI로 저장하는 것이다. 공감수 0 댓글수 0 2023. 1. 20.
  • [에러 해결] RuntimeError: Expected tensor for argument #1 'indices' to have scalar type Long; but got torch.FloatTensor instead (while checking arguments for embedding) 이 에러는 float 타입의 텐서에 너무 큰 값을 저장할 때 발생한다. 다시 말하자면, int 타입으로 저장해야 할 텐서를 데이터 타입을 지정해주지 않아서 기본 타입인 float 타입으로 만든 경우에 흔히 발생한다. 예시 코드> tokens_list # [14054, 10788, 9241, 18831, 10396, 10910, 14304, 3, 3, 3, # 3, 3, 3, 3, 3, 3, 3, 3, 3, 3] tokens_tensor = torch.Tensor(tokens_list) # tensor([1.4054e+04, 1.0788e+04, 9.2410e+03, 1.8831e+04, 1.0396e+04, 1.0910e+04, # 1.4304e+04, 3.0000e+00, 3.0000e+00, 3.00.. 공감수 2 댓글수 0 2022. 11. 2.
  • [에러 해결] NameError: name '_C' is not defined "NameError: name '_C' is not defined" Jupyter Notebook를 사용 중에, Anaconda prompt를 통해 새로운 라이브러리를 설치한 후 설치한 라이브러리를 사용하려 import하려 하니 위 에러가 발생했다. 보통의 경우 jupyter notebook에서 kernel restart를 하면 해결된다. (새로운 라이브러리를 설치하면 항상 restart해주는게 옳다) 하지만 내 경우 kernel을 재시작했는데도 위 에러가 발생해서 시스템적인 에러인가 싶었는데, 간단한 에러였다. Anaconda prompt에서 라이브러리를 설치한 후, 기존에 켜져있던 jupyter notebook은 닫고 Anaconda prompt에서 jupyter-notebook 을 입력해 주피터를 .. 공감수 1 댓글수 0 2022. 10. 24.
    문의안내
    • 티스토리
    • 로그인
    • 고객센터

    티스토리는 카카오에서 사랑을 담아 만듭니다.

    © Kakao Corp.