인공지능 개발자 수다

프로젝트를 하다 보니,새로운 Exaone 모델이 나왔다고 해서어떤 점이 업그레이드가 되었는지 궁금해서논문을 읽어보기로 했다.0. AbstractExaone 4.0은 Non-Reasoning mode 와 Reasoning mode를 둘다 지원함고급 추론 능력을 지원함Agentic tool 을 사용스페인어, 영어, 한국어 가능32B, 1.2B 두가지 사이즈가 있음 1. Introduction실제 서비스 환경에서의 활용성과 고급 추론 능력을 동시에 만족시키는 것을 목표로 개발 agentic tool use를 핵심 역량으로 도입빠른 응답을 위한 비추론 모드 Non reasoning mode와 정확성을 중시하는 추론 모드 Reasoning mode를 하나의 모델 안에서 통합사전학습 단계에서는 이전 버전 대비 훨씬..

1. 개요TRL은 Huggingface에서 제공하는학습 도구이다. 세가지 단계에 걸쳐 학습을 진행한다.학습 설정 (TrainingArguments)Trainer 설정학습 실행 지금 LLM 파인튜닝 실무에서 필요한 거의 모든 알고리즘이 TRL에 포함되어 있다고 보면 된다. (출처: TRL 홈페이지)학습 방식목적필요 데이터난이도주요 사용처SFT기본 성능 + 말투 튜닝입력/출력 쌍매우 쉬움모든 파인튜닝의 기본DPOReward 없이 alignmentchosen vs rejected쉬움말투/안전성/품질 개선ORPODPO보다 단순한 RLHF 대체preference매우 쉬움빠른 alignmentPPO전통적 RLHFreward model + environment어려움고급 RLHFGRPO최신 강화형 preference ..

Transforers 버전 : 4.57.1 1. Transformers란 무엇인가?Hugging Face의 Transformers 라이브러리는 현대 자연어 처리와 생성형 AI 모델을 개발하고 활용하는 데 필요한 표준 툴킷DeepSeek, Mistral, BERT 같은 대규모 언어모델을 쉽고 빠르게 불러오고, 추론하고, 파인튜닝할 수 있도록 통합된 인터페이스를 제공 Transformers의 핵심 가치는 아래 네 가지로 요약할 수 있다.수천 개의 사전학습 모델 제공Hugging Face Hub에 업로드된 모든 모델을 from_pretrained() 한 줄로 불러올 수 있다.통일된 Tokenizer & Model API모델 종류가 달라도 공통된 규칙으로 토크나이즈하고 추론할 수 있다.파인튜닝을 위한 Train..

0. 개요LLM을 학습하기 위해어떤 도구들을 사용할 줄 알아야 하는지에 대해 알아보고,각 도구는 왜 사용하는지 설명을 하겠다. 1. PytorchLLM의 뼈대가 되는 딥러닝 프레임워크.모델 만들고, 학습시키고, GPU에서 계산 돌리는 모든 기초를 담당하는 가장 기본 도구. 다음과 같은 상황에 사용한다.간단한 SFT는 Trainer로 가능하지만, 연구나 실제 개발은 반드시 PyTorch가 필요“논문 구현하거나 알고리즘을 custom 해야 한다”기본 구조를 수정해야 한다학습 코드를 deep level에서 디버깅해야 한다 2. Transformers (HuggingFace)GPT, LLaMA 같은 LLM 모델을 바로 가져다 쓰고 학습할 수 있는 라이브러리.토크나이저, 모델 구조, Trainer, generat..

6.1 Sentiment Task: 감성 조절 능력 실험 (IMDb)논문 링크연도 : 20230. Abstract기존 RLHF(인간 피드백을 활용한 강화학습)은 복잡하고 한계가 있음간단한 classification loss 를 이용해 RLHF의 문제를 해결샘플링이나 복잡한 하이퍼파라미터 튜닝 없이도 인간의 선호도에 맞는 fine-tuning이 가능기존의 PPO 기반 RLHF보다 감정 제어 성능이 뛰어남 1. Introduction명확하지 않은 문서를 이해해야 하지만, 정확한 대답을 해야하함이진 분류 손실 함수(binary classification loss) 사용핵심 아이디어는, 보상 모델을 명시적으로 학습하지 않고도 최적의 정책(Policy)을 바로 도출할 수 있도록 선호 기반 확률모델(theoreti..

langchain 버전: 0.3.23langgraph 버전: 0.3.20 0. LangGraph란LangGraph는 복잡한 LLM 워크플로우를 설계하고 실행할 수 있도록 해주는그래프 기반 실행 프레임워크 각 단계(노드)를 LLM, 함수 호출, 조건 판단으로 나눠서마치 "AI 플로우차트"처럼 구성함LangGraph는 이런 복잡한 흐름을 그래프 구조로 시각화하고 제어할 수 있게 해주는 도구 LangGraph의 구성요소요소설명Graph실행 흐름 전체를 표현하는 객체Node각 단계(=작업 단위). LLM 실행, 툴 호출, 조건 분기 등을 담음EdgeNode 간 흐름. 조건 분기(if), 반복(loop) 등State노드 실행 사이에 공유되는 컨텍스트 (예: chat history, 변수)GraphRunner그래프..

보호되어 있는 글입니다.

LG 프로젝트를 하다 보니, 엑사원 모델을 사용하고 있길래논문을 읽어보기로 했다.현 시점에서 한국어를 기준으로는 상위권에 속하는 모델이다.필자도 이것저것 질문해 봤는데 성능이 괜찮았던 경험이 있다. 논문 링크 EXAONE 3.5: Series of Large Language Models for Real-world Use CasesThis technical report introduces the EXAONE 3.5 instruction-tuned language models, developed and released by LG AI Research. The EXAONE 3.5 language models are offered in three configurations: 32B, 7.8B, and 2.4B...

출처 : Langchain 공식문서 How-to guides | 🦜️🔗 LangChainHere you’ll find answers to “How do I….?” types of questions.python.langchain.com 1. Retriever 는 무엇인가Retriever는 주어진 질문에 대해 벡터스토어 에서 관련된 정보를 검색 검색은 챗봇이 챗 모델의 훈련 데이터 외부의 데이터로 응답을 증강하는 데 사용 retriever를 적용하는 것은 다음을 고려한다.방법이 다양하기 때문에, 상황과 데이터에 맞는 방법을 채택한다.Custom으로 만들 것인가간단하게 만들 것인가.다양한 방법을 조합해서 만들 것인가어느 부분에 적용할 것인가 (prompt에 문서 삽입, 질문을 메타에 맞게 변형, 명확한 질..

1. 파인튜닝(fine-tunning)이란Pre-tained Model (기본 언어 능력을 학습한 모델)을 기초로 하여특정 상황에 맞는 사용을 위해 추가로 학습하는 것을 파인튜닝(fine-tunning) 이라고 한다. pre-train과 비교pre-train일반 말뭉치를 사용해 학습다음 단어를 예측하는 형식으로 학습, 즉 다음단어가 target이 되는 형식임방대한 데이터로 학습하여 모델의 기본 지능을 만드는 과정fine-tunning상황에 맞는 input과 output을 학습함. 즉, supervised learningpre-trained 모델을 가져와 특정 태스크에 맞는 소규모 데이터셋으로 추가 훈련2. 데이터셋 준비2.1. 데이터 설명어떤 도메인의 모델을 학습할지 먼저 정해야 한다.다음으로 특정 도메..