NLP 성장러의 아카이브

MCP는 Model Context Protocol의 준말로, 최근 가장 핫한 Agent 개발에 있어서 표준으로 자리매김한 프로토콜이다.Agent는 모델이 기존에 학습한 정보만으로 답할 수 없는 부분을 보완하기 위해, 다양한 API Tool들을 활용할 수 있도록 확장되어 사용자의 질의에 더 정확하게 대답할 수 있다.Agent가 사용할 수 있도록 Tool들을 서버에 등록시켜줘야 하는데, MCP는 각기 다른 규격의 Tool들을 처리해야하는 수고를 덜어주어 간편하게 등록할 수 있게 해준다.MCP는 다양한 프로그램 환경 (Client)에서 사용 가능하나, 가장 보편적으로 사용되는 Claude Desktop과 Visual Studio Code에서 진행해본다.서버를 원격으로 배포하는 방법도 있지만 이 포스팅에서는 로..

made by Google DeepMind모델 크기: 1B, 4B, 12B, 27B2025년 3월 12일 공개Gemini 2.0과 동일한 기술이 사용되었으며, 차이점은 오픈소스이고 경량화된 모델이라는 점Multi-Modal사전 학습 과정에서 Knowledge Distillation을 통해 학습사후 학습 과정에서 수학, 코딩, 추론, 대화 능력 개선에 집중, RLHF 학습140개 언어 지원128k의 Long Context 지원KV 캐시 메모리 문제 해소를 위한 Local / Global Attention Layer 비율 조정 128k와 같은 long context를 처리하려면 각 토큰의 Key/Value 벡터를 저장해야 해서 메모리가 폭증하게 된다. 이를 해소하기 위해 Local Attention과 Gl..

Normalization / Standardization / RegularizationNormalization: 값을 0~1 사이로 만듦예: Min-Max ScalingStandardization: 평균 0, 분산 1이 되도록 scale을 조정. 값의 범위는 자유.회귀 분석이나 PCA와 같은 알고리즘에서 많이 사용됨Regularization(규제): weight를 조정하는 데 규제를 거는 기법Overfitting을 방지하기 위해 사용예: L1 regularization, L2 regularization (L2-norm을 추가하여 파라미터가 더 작은 값을 가지도록 함) DataData ParallelismDistributed Data Parallel (DDP): 모든 GPU가 전체 파라미터를 복제Shard..

'Function call', 'Tool use', 'Planning'의 개념간 혼동되는 부분이 있어, 구분하여 정리해본다. 1. Function callFunction call은 사용자 질의가 들어왔을 때, 이를 처리하기 위해 필요한 함수를 식별하여 함수의 이름 및 파라미터를 생성하는 작업을 의미한다.여기서 말하는 함수란, 일반적으로는 실제 executable한 API를 의미하며, API 사용이 불가한 환경에서는 특정 프로그래밍 언어로 작성된 function(method)을 의미하기도 한다.사용 가능한 API document 리스트가 사전에 제공되어야 하며, API document에는 각 API의 이름, 필수/선택 파라미터, API 기능 설명(description), 출력에 대한 설명 등의 정보가 작성..

ChatGPT (GPT-4o)와의 채팅(link)을 바탕으로, RoPE에 대해 얻은 지식을 정리해본다.✅ RoPE (Rotary Positional Embedding)RoPE(Rotary Positional Embedding)는 GPT-NeoX 등에서 사용되는 상대적 위치 정보를 내재화하는 방법입니다. 기존의 Sinusoidal Positional Embedding과는 다르게, 쿼리(Q)와 키(K)에 회전을 적용하여 위치 정보를 각도(rotation)로 인코딩합니다.🔸 핵심 아이디어RoPE는 각 토큰의 벡터를 회전(rotate)시켜 위치 정보를 반영합니다. 벡터의 짝수-홀수 차원쌍을 2D 평면으로 보고, 해당 벡터를 위치에 따라 회전시키는 방식입니다.각 차원의 임베딩 벡터를 복소수처럼 다루며,$\mat..

최근 Large Language Model (LLM)이 다양한 태스크에서 뛰어난 성능을 보임에 따라, LLM을 원하는 태스크에 맞게 fine-tuning하여 사용하려는 니즈가 많다.그런데 LLM은 이름에 나와 있듯이 굉장히 많은 파라미터 (10B은 기본..)를 가지고 있기 때문에, full fine-tuning을 하려면 많은 메모리와 시간이 든다.그래서 사전학습된 LLM의 모든 파라미터를 튜닝하지 않고, 수행하고자 하는 특정 태스크를 위한 소량의 파라미터만을 추가적으로 학습하여 adaptation하는 lightweight fine-tuning이 주목받고 있다.그 중에서 최근 가장 많이 사용되는 LoRA (Low-Rank Adaptation)에 대해 알아보려고 한다. 글 작성에 도움을 받은 참고 링크들이다..

Meta에서 23년 7월 19일에 공개한 이후, 수많은 LLM들의 foundation model로 사용되고 있는 LLaMA 2에 대해 정리하려고 한다. LLaMA 2 논문 과 daewoo kim님의 블로그 를 참조하여 작성하였음을 밝힌다. 해당 블로그에 정리가 잘 되어 있어 도움을 많이 받았다. (노션에 가볍게 정리하다가 꽤 길어져서 블로그에 옮기는 중. 티스토리에서 그림이 자꾸 깨진다ㅠ) LLaMA 2 (23년 7월 공개)는 LLaMA 1 (23년 2월 공개)를 발전시킨 모델 self-supervised learning으로 학습 사전학습 데이터 40% 증가 (1.4T tokens → 2T tokens) Context length 2배 증가 (2K → 4K) Grouped-query attention 사..

KL-Divergence (KLD)는 쉽게 말해, 정답(ground-truth) 분포와 예측(prediction) 분포가 얼마나 유사한지/다른지를 측정하는 방법이다. KLD의 값이 낮을수록 두 분포가 유사함을 의미한다. $P(x)$를 실제 분포, $Q(x)$를 예측 분포라고 할 때, KLD loss는 다음 수식으로 나타낼 수 있다. $$ KLD = \displaystyle\sum_{x} P(x) \log \frac{P(x)}{Q(x)} = \displaystyle\sum_{x} P(x) \log P(x) - \displaystyle\sum_{x} P(x) \log Q(x) $$ 추가적으로, 우항에서 $\displaystyle\sum_{x} P(x) \log P(x)$는 $-Entropy$ 이고, $- \..