인공지능 개발자 수다

프로젝트를 하다 보니,새로운 Exaone 모델이 나왔다고 해서어떤 점이 업그레이드가 되었는지 궁금해서논문을 읽어보기로 했다.0. AbstractExaone 4.0은 Non-Reasoning mode 와 Reasoning mode를 둘다 지원함고급 추론 능력을 지원함Agentic tool 을 사용스페인어, 영어, 한국어 가능32B, 1.2B 두가지 사이즈가 있음 1. Introduction실제 서비스 환경에서의 활용성과 고급 추론 능력을 동시에 만족시키는 것을 목표로 개발 agentic tool use를 핵심 역량으로 도입빠른 응답을 위한 비추론 모드 Non reasoning mode와 정확성을 중시하는 추론 모드 Reasoning mode를 하나의 모델 안에서 통합사전학습 단계에서는 이전 버전 대비 훨씬..

1. 현재 1.1. AI Agent현재 LLM 모델 관련 취업 시장은AI Agent 개발자 위주로 취업이 많은데 주로 하는 업무는LLM 모델을 보조해주는Agent 설계 ,Tool 개발, RAG 시스템 개발 이다. 물론 해당 내용이 현재 시점에서2025년12월 21일 기준기업에서 큰 월급을 주고 있지만, 주요 업무는- 데이터 전처리 파이프라인 개발과- RAG 시스템 구축과 성능 개선- Agent 시스템의 성능 최적화 및 성능 개선 이렇게 세가지 이다. 주요 업무 흐름은 다음과 같다.데이터 사이언스 분야에서 항상 하듯 1. 탐색적 데이터 분석(어떤 질문이 들어올지 데이터분석을 하고, 어떤 문서를 답변에 활용할지 데이터를 분석한다)2. Agnet 설계3. 데이터 분석 이후 데이터 전처리4. LLM, Embed..

출처: FastMCP docs Quickstart - FastMCPWelcome! This guide will help you quickly set up FastMCP, run your first MCP server, and deploy a server to FastMCP Cloud. If you haven’t already installed FastMCP, follow the installation instructions. Create a FastMCP Server A FastMCP server is a collegofastmcp.com 0. FastMCP란FastMCP는 Python MCP 개발의 선구자였으며 FastMCP 1.0은 2024년에 공식 MCP SDK 에 통합되었음 FastMCP가 복잡한..

1. 개요TRL은 Huggingface에서 제공하는학습 도구이다. 세가지 단계에 걸쳐 학습을 진행한다.학습 설정 (TrainingArguments)Trainer 설정학습 실행 지금 LLM 파인튜닝 실무에서 필요한 거의 모든 알고리즘이 TRL에 포함되어 있다고 보면 된다. (출처: TRL 홈페이지)학습 방식목적필요 데이터난이도주요 사용처SFT기본 성능 + 말투 튜닝입력/출력 쌍매우 쉬움모든 파인튜닝의 기본DPOReward 없이 alignmentchosen vs rejected쉬움말투/안전성/품질 개선ORPODPO보다 단순한 RLHF 대체preference매우 쉬움빠른 alignmentPPO전통적 RLHFreward model + environment어려움고급 RLHFGRPO최신 강화형 preference ..

Transforers 버전 : 4.57.1 1. Transformers란 무엇인가?Hugging Face의 Transformers 라이브러리는 현대 자연어 처리와 생성형 AI 모델을 개발하고 활용하는 데 필요한 표준 툴킷DeepSeek, Mistral, BERT 같은 대규모 언어모델을 쉽고 빠르게 불러오고, 추론하고, 파인튜닝할 수 있도록 통합된 인터페이스를 제공 Transformers의 핵심 가치는 아래 네 가지로 요약할 수 있다.수천 개의 사전학습 모델 제공Hugging Face Hub에 업로드된 모든 모델을 from_pretrained() 한 줄로 불러올 수 있다.통일된 Tokenizer & Model API모델 종류가 달라도 공통된 규칙으로 토크나이즈하고 추론할 수 있다.파인튜닝을 위한 Train..

0. 개요LLM을 학습하기 위해어떤 도구들을 사용할 줄 알아야 하는지에 대해 알아보고,각 도구는 왜 사용하는지 설명을 하겠다. 1. PytorchLLM의 뼈대가 되는 딥러닝 프레임워크.모델 만들고, 학습시키고, GPU에서 계산 돌리는 모든 기초를 담당하는 가장 기본 도구. 다음과 같은 상황에 사용한다.간단한 SFT는 Trainer로 가능하지만, 연구나 실제 개발은 반드시 PyTorch가 필요“논문 구현하거나 알고리즘을 custom 해야 한다”기본 구조를 수정해야 한다학습 코드를 deep level에서 디버깅해야 한다 2. Transformers (HuggingFace)GPT, LLaMA 같은 LLM 모델을 바로 가져다 쓰고 학습할 수 있는 라이브러리.토크나이저, 모델 구조, Trainer, generat..

1. 개요Python 버전: 3.11 이상FastAPI 버전: 0.116.1 이상 FastAPI에서 무거운 LLM/딥러닝 객체를 불러올 일이 있다.이것은 큰 비용을 사용하기 때문에,API를 실행할 때 마다 객체를 생성하게 되면,큰 부담이 될 수 있으므로 싱글톤 패턴을 이용하도록 하자. 그리고, 자원관리 따위 솔직히 알고싶지 않고.... 난 백엔드 개발자가 아닌데 이거까지 해줘야하냐(퉤), 백엔드 개발자들아 아무나 좀 와서 나대신 해줘라. 데싸니까 나는 이딴거 안함 (튀튀) 2. 개념2.1. 싱글톤(Singleton) 패턴 개념싱글톤 패턴은 하나의 클래스에서 단 하나의 인스턴스만 생성하도록 보장하는 객체 생성 패턴이다.애플리케이션 전체에서 그 객체는 한 번만 만들어지며, 어디에서든 동일한 인스턴스를 공유해..

1. 개요MCP(Model Context Protocol)은 LLM이 외부 시스템과 안전하고 일관된 방식으로 상호작용할 수 있도록 해주는 표준 프로토콜이다.즉, “AI가 세상과 연결되는 공용 언어”라고 할 수 있다. LLM은 본래 텍스트 입력과 출력만 다루는 언어 모델이지만, 실제 서비스를 만들기 위해서는파일을 읽거나,데이터베이스를 조회하거나,API를 호출하거나,시스템 명령을 실행해야 한다. 이런 “외부 세계”에 접근하는 과정을 표준화하고 안전하게 중계하는 역할을 MCP가 맡는다. 2. 왜 필요한가2.1. 기존의 문제점지금까지 대부분의 Agent 시스템은 다음과 같은 문제를 갖고 있었다.비표준 구조: 각 프레임워크마다 도구 연결 방식이 달라 재사용이 어렵다.보안 취약성: 모델이 OS 명령어를 직접 실행하..

1. DAG 개념Directed : Task가 방향성을 가진다 (선후 관계가 있음)Acyclic : 순환이 없다.Graph : Task의 관계를 나타낸 구조 2. DAG 정의dag_id : DAG 이름 (고유 식별자)start_date : 기준 시각. 과거로 두면 catchup이 True일 때 과거 분량이 밀린다. 학습 중에는 보통 catchup을 False로 둔다.schedule_interval : 실행주기, 크론 문자열이나 프리셋을 쓴다. 예, @once, @hourly, @daily, 0 9 * * *.catchup: True면 과거 실행분을 밀린 것까지 수행default_args: 공통 인자 (owner, retries, retry_delay 등)tags: DAG 그룹핑 및 검색 태그from da..

1. 개요Airflow는 다양한 방법으로 설치할 수 있습니다. Docker, Kubernetes, Helm Chart를 이용한 배포도 가능하지만, 학습 목적이나 작은 규모의 테스트 환경에서는 로컬 파이썬 환경에서 바로 설치하는 것이 가장 간단합니다.이 장에서는 Python 가상환경을 활용해 Airflow를 설치하고 실행하는 방법을 다룹니다. Airflow는 Linux/Unix 계열 환경을 기준으로 개발되었기 때문에, 공식적으로는 윈도우 실행을 지원하지 않습니다.airflow scheduler 같은 일부 프로세스가 윈도우에서 정상 동작하지 않거나, 의존성 충돌이 발생할 수 있습니다. 내용 출처 Airflow Docs Quick Start — Airflow 3.0.4 Documentation airflow...