인공지능 개발자 수다

메세지는 채팅모델의 입력/출력 입니다.메세지는 내용(content) 와 역할(role)로 구성되어 있습니다. 이번시간에 설명할 내용은 메세지를 다루는 세가지 방법 입니다.1. Trim2. Filter3. 동일 유형의 메세지 병합 메세지는 모델과의 대화를 저장하고 추적하는데 주로 사용됩니다.1. Trim1.1. trim messages 개념llm은 메세지의 크기가 제한되어 있기 때문에, 토큰의 수를 다듬어야 한다. trim 기법은 크게 두가지가 있다.토큰수 기반 Trimming (Trimming based on token count)메시지 수를 기반 Trimming (Trimming based on message count)1.2. Trimming 예시 코드각 모델마다 메시지에서 사용하는 토큰 수가 다를 ..

1. LangChain Expression Language(LCEL) 소개LangChain 표현 언어, 혹은 LCEL은 LangChain 컴포넌트들을 연결하는 선언적 방식입니다. LCEL은 처음부터 프로토타입을 코드 수정 없이 바로 프로덕션에 배포할 수 있도록 설계되었습니다. 간단한 “프롬프트 + LLM” 체인부터 100단계 이상의 복잡한 체인까지, 많은 사용자들이 LCEL 체인을 성공적으로 프로덕션에서 운영하고 있습니다.2. LCEL 사용 이유2.1. streaming supportLCEL로 체인을 구축하면 가장 빠른 첫 토큰 출력 시간을 확보할 수 있습니다 (첫 번째 출력 조각이 나올 때까지 걸리는 시간). 예를 들어, 일부 체인의 경우 LLM에서 나오는 토큰을 바로 스트리밍 출력 파서로 전송하여, ..

1. 변경 사항내부적으로 모든 패키지가 Pydantic 1에서 Pydantic 2로 업그레이드됨. 이제 Pydantic 2를 완전히 지원Pydantic 1은 2024년 6월에 지원 종료Python 3.8은 2024년 10월에 지원이 종료2. 새롭게 추가된 기능2.1. the latest integration packages 패치,기존 langchain-community 의 내용이 integration packages로 많이 넘어감  langchain-openai langchain-anthropic langchain-google-vertexai langchain-aws langchain-huggingface langchain-mistralai2.2. tool의 정의와 사용이 단순화됨2.2.1. Tool 정..

1.  Retriever 는 무엇인가Retriever는 주어진 질문에 대해 관련된 정보를 찾아오는 구성 요소입니다. 특히, 여러 개의 문서나 데이터베이스에서 필요한 정보를 검색하는 역할을 합니다. 검색은 챗봇이 챗 모델의 훈련 데이터 외부의 데이터로 응답을 증강하는 데 사용하는 일반적인 기술입니다. Retriever는 대용량의 비정형 데이터를 효율적으로 처리하여 사용자에게 필요한 정보를 빠르게 제공하는 핵심 요소입니다.2. Retriever의 종류Vectorstore Retriever이 방식은 가장 기본적이고 쉽게 시작할 수 있는 방법입니다.각 텍스트 조각마다 임베딩을 생성하여 검색을 수행하며, 빠르고 간단한 검색 시스템을 구축하고자 할 때 적합합니다.주로 유사도 검색을 위해 벡터 공간에 문서를 매핑하..

1. LLM의 입력값 형식입력 데이터를 기준으로 두가지 종류의 LLM으로 나눌 수 있습니다.프롬프트를 만들기 전에, 모델에 어떤 형식으로 데이터가 들어가는지 확인해 봅시다.1.1. 완성형 LLM (Completion-based LLM)동작 방식: 주어진 프롬프트에 이어질 텍스트를 예측하여 생성사용 사례: 코드 자동 완성, 문장 또는 단락 생성, 문서 작성 보조입력 데이터: 문자열입력 데이터 예시"안녕하세요." 1.2. 대화형 LLM (Chat-based LLM)동작 방식: 사용자와의 대화를 통해 상호 작용하며, 이전 대화 내용을 기반으로 응답사용 사례: 챗봇, 대화 기반 학습 도구입력 데이터: Json입력 데이터 예시[ {"role": "user", "content": "안녕하세요."}, {"..

0. 개요랭체인에서 LLM을 불러오는 방법중 크게는 세가지가 있다.1. api 형태로, 요청만 할 수 있는 모델 (chatgpt 등등)2. 로컬로 다운 받아, 커스터마이징이 가능한 모델 (HuggingFace)3. 로컬에 다운 받을 수 있으나, 수정할 수는 없는 모델 (Ollama) Langchain에 올라오는 LLM 모델은 매달 빠르게 변경되고 추가되기 때문에,가장 많이 사용할 법한 분류를 기준으로 소개하겠다.(정말 모델은 엄청 다양하고 많다.)1.  API에 요청1.1. 설명내용 출처: How to chain runnablesAPI에 요청 하는 방법은, 다른 서버의 자원을 사용하기 때문에 유료로 사용한다고 볼 수 있다. 장점은, 사용하기 편리하고 대체로 성능이 좋다는 점이다. 가격도 서버를 직접 운영..

논문 연도: 2023제미나이 논문 링크 Gemini: A Family of Highly Capable Multimodal ModelsThis report introduces a new family of multimodal models, Gemini, that exhibit remarkable capabilities across image, audio, video, and text understanding. The Gemini family consists of Ultra, Pro, and Nano sizes, suitable for applications ranging from comparxiv.org0. abstract'제미나이' 크기로는  '울트라(Ultra)', '프로(Pro)', '나노(Nano)'..

논문 제목 : Llama 2: Open Foundation and Fine-Tuned Chat Models (논문링크)발행연도: 2023 0. AbstractLlama2는 파라미터가 70억~700억개로, 거대 모델이다.사람의 평가를 기반으로 함 (도움이 되는지, 안전한지)상세한 모델 사용법을 제공한다.1. Introduction거대 언어 모델(Large Language Models, LLMs)은 전문적인 지식을 요구하는 다양한 분야서 AI 시스턴트로서의 가능성을 보여주고 있음Reinforcement Learning with Human Feedback (RLHF): 사람의 피드백을 반영해 학습하는 기법사전훈련 모델 공개되어 있음, 연구 및 상업용으로 일반 대중에게 공개Llama2Llama 1의 업데이트 버..

1. 개요지난 시간에 새로운 모델을 학습 하기 위해서는, 비용이 너무 커 개인이 실행하기는 어렵다는 것을 깨닳았다.이번에는 오픈소스 사전 학습된(Pretrain)모델을 파인튜닝(Finetunning)하기위해, 유명한 오픈소스 모델 중 하나인 Llama2 모델을 사용하는 방법부터 알아 보자2. 모델 종류2.1.설명Llama 2는 7B, 13B, 70B 등 다양한 매개변수 크기의 모델이 있음chat: 대화 사용 사례에 최적화된 모델hf: RLHF(인간 피드백)으로 조정2.2. 종류meta-llama/Llama-2-7b (링크)meta-llama/Llama-2-7b-hf(링크)meta-llama/Llama-2-7b-chat(링크)meta-llama/Llama-2-7b-chat-hf(링크)나머지는 Llama2 ..

지난 시간 Llama2에대해 공부했었는데, 모델의 세부적인 내용이 Llama1 과 비슷하다고 하여 논문을 한번 보는 것이 좋겠다고 생각해 요약을 해보는 것도 좋은 경험일 것 같아 글을 작성합니다. - 논문 링크 LLaMA: Open and Efficient Foundation Language Models - Meta Research | Meta ResearchWe introduce LLaMA, a collection of foundation language models ranging from 7B to 65B parameters. We train our models on trillions of tokens, and show that it is possible to...research.facebook.co..