인공지능 개발자 수다

논문 제목 : Llama 2: Open Foundation and Fine-Tuned Chat Models (논문링크)발행연도: 2023 0. AbstractLlama2는 파라미터가 70억~700억개로, 거대 모델이다.사람의 평가를 기반으로 함 (도움이 되는지, 안전한지)상세한 모델 사용법을 제공한다.1. Introduction거대 언어 모델(Large Language Models, LLMs)은 전문적인 지식을 요구하는 다양한 분야서 AI 시스턴트로서의 가능성을 보여주고 있음Reinforcement Learning with Human Feedback (RLHF): 사람의 피드백을 반영해 학습하는 기법사전훈련 모델 공개되어 있음, 연구 및 상업용으로 일반 대중에게 공개Llama2Llama 1의 업데이트 버..

1. 개요지난 시간에 새로운 모델을 학습 하기 위해서는, 비용이 너무 커 개인이 실행하기는 어렵다는 것을 깨닳았다.이번에는 오픈소스 사전 학습된(Pretrain)모델을 파인튜닝(Finetunning)하기위해, 유명한 오픈소스 모델 중 하나인 Llama2 모델을 사용하는 방법부터 알아 보자2. 모델 종류2.1.설명Llama 2는 7B, 13B, 70B 등 다양한 매개변수 크기의 모델이 있음chat: 대화 사용 사례에 최적화된 모델hf: RLHF(인간 피드백)으로 조정2.2. 종류meta-llama/Llama-2-7b (링크)meta-llama/Llama-2-7b-hf(링크)meta-llama/Llama-2-7b-chat(링크)meta-llama/Llama-2-7b-chat-hf(링크)나머지는 Llama2 ..

지난 시간 Llama2에대해 공부했었는데, 모델의 세부적인 내용이 Llama1 과 비슷하다고 하여 논문을 한번 보는 것이 좋겠다고 생각해 요약을 해보는 것도 좋은 경험일 것 같아 글을 작성합니다. - 논문 링크 LLaMA: Open and Efficient Foundation Language Models - Meta Research | Meta ResearchWe introduce LLaMA, a collection of foundation language models ranging from 7B to 65B parameters. We train our models on trillions of tokens, and show that it is possible to...research.facebook.co..

1. Pydantic1.1. Pydantic 이란?Pydantic은 파이썬 데이터 클래스와 유사한 구조로 데이터 모델을 정의하고, 이를 통해 데이터 검증과 변환을 수행하는 라이브러리입니다. 특히, 데이터의 유효성을 보장하고 자동으로 타입을 변환해주는 기능을 제공함으로써, 신뢰성 있는 애플리케이션 개발에 도움을 줍니다. Pydantic 사용의 장점• 코드의 간결성: 데이터 검증, 변환 로직을 수동으로 작성할 필요 없이, Pydantic 모델을 정의함으로써 자동으로 처리할 수 있어 코드가 간결해집니다. • 안정성: FastAPI와 같은 웹 프레임워크에서는 외부에서 들어오는 데이터가 많기 때문에, 신뢰할 수 있는 데이터 검증이 필수적입니다. Pydantic은 이러한 역할을 수행함으로써 애플리케이션의 안정성을 ..

1. 비동기(Asynchronous)프로그래밍의 개념비동기 작업은 작업이 시작된 후 완료되기를 기다리지 않고, 그 사이에 다른 작업을 수행할 수 있는 프로그래밍 방식입니다. 이는 동기식 작업과는 달리 여러 작업을 병렬로 처리할 수 있게 해줍니다.비동기 작업은 보통 async 및 await 키워드를 사용하여 정의됩니다.async: 비동기 함수(코루틴) 정의한다.await: 비동기 함수 내에서 시간이 오래 걸리는 작업을 수행할 때 사용한다.File input/output 작업 (대용량 파일을 읽거나 쓰는 작업)데이터베이스 쿼리웹 서버: 많은 수의 클라이언트 요청을 동시에 처리해야 하는 경우2. 예시 코드2.1. 비동기 함수(코루틴 정의)1. def 앞에 async를 붙여준다.2. 시간이 오래 걸리는 작업에 ..

1. 개요먼저 FastAPI에서 HTML을 사용한다는 것은,HTML에서 보여주는 내용을 동적으로 보여준다는 것이다.즉, FastAPI에서 Return한 변수를HTML에서 보여주겠다는 것이다.2. 설치먼저 jinja2를 설치해 주자# pip 설치 방법pip install jinja2# poetry 설치 방법poetry add jinja2  3. 기본적인 HTML 다루는 방법만약 프론트엔드 서버와 FastAPI가 통신한다면, 클라이언(유저)가 프론트엔드에 Request를 날리면 프론트엔드 서버에서 Json 등의 데이터를 FastAPI에 요청하는 형식으로 진행되겠지만, HTML만 이용할 때에는 클라이언트가 FastAPI에게 request를 요청하면 HTML을 반환하는 형식으로 코드를 작성하게 된다.'FastA..

랭체인은 대화형 언어모델을 이용하기 위해여러가지 작업을 연결할 수 있도록 만든 라이브러리 이다. 어떤 것들을 배워야 할지 정리해 보자. 1. 모델어떤 모델을 가져올 수 있는지 알아보는 것이 필요하다.대표적으로 ChatGPT, Llama3 가 있으며, 기타 다양한 모델을 HuggingFace에서 불러와 사용할 수 있다.2. 체인체인의 각 요소들을 어떻게 연결할 수 있는지3. Retriever(검색)사용자가 질의한 내용에 대해, 가장 관련성이 높은 정보를 검색해 반환한다.특정 분야의 관련성이 높은 정보를 미리 준비하면, 그에 맞는 대답을 할 수 있는 LLM 모델이 된다.Retriever는 다양한 종류가 있다.4. 프롬프트 탬플릿- 들어온 문장이나 단어를 어떻게 모델에 최종적으로 입력할지 결정한다.- 필요하다..

1. Get1.1. 개념 설명GET 요청은 주로 서버에서 데이터를 가져오기 위해 사용됩니다.url에 파라미터를 적어 요청합니다.장점간편하다단순한 데이터 조회에 적합RESTful 방식에 적합단점보안 문제 취약데이터 크기 제한데이터 수정 불가캐싱문제: 자주 수정되는 데이터를 조회할 때에는 과거 데이터가 조회될 수 있음1.2. 기본적인 GET 요청FastAPI에서 GET 요청을 처리하려면 @app.get() 데코레이터를 사용합니다.from fastapi import FastAPIapp = FastAPI()@app.get("/")def read_root(): return {"message": "Hello, World!"}위의 코드에서 '/' 경로에 GET 요청을 보내면 {"message": "Hello, ..

1. 설치pip 설치pip install fastapi uvicorn poetry 설치poetry add fastapi unicorn 2. 주요 구성요소2.1. 애플리케이션 인스턴스가장 핵심이 되는 FastAPI 인스턴스 이다.인스턴스는 모든 라우팅, 미들웨어, 이벤트 핸들러 등을 관리한다.from fastapi import FastAPIapp = FastAPI() 애플리케이션 실행if __name__ == '__main__': import uvicorn uvicorn.run(app, host='localhost', port=8000)2.2. 라우팅 및 경로 작업@app.get(), @app.post() 를 사용한다.경로를 지정해주고, 요청을 처리할 함수를 만들어 준다.@app.get("/")..

1. 시험 설명유형 3문제 수: 2문제 (각 15점, 30점)주제: 통계적 가설 검정2. 이론 암기2.1. 기본 이론가설 설정귀무가설: \(H_0\): 검정통계량이 기각역에 속하면, 귀무가설을 기각하고 대립가설을 채택한다.대립가설: \( H_1 \)p-value가 낮으면 -> 통계량은 아주 극단적인 수치이다 -> 귀무가설 기각유의수준: \( \alpha \)1%, 0.01, 양측검정 5%, 0.05, 양측검정(1.96), 단측검정(1.64)10%, 0.1오류 종류1종 오류(Type 1 Error): 귀무가설이 참일 때, 귀무가설을 기각하는 경우2종 오류(Type 1 Error): 귀무가설이 거짓일때, 귀무가설을 채택하는 경우2.2. 검증 종류2.2.1. '단일 표본의 평균' 검정One sample Z-T..