인공지능 개발자 수다

랭체인은 대화형 언어모델을 이용하기 위해여러가지 작업을 연결할 수 있도록 만든 라이브러리 이다. 어떤 것들을 배워야 할지 정리해 보자. 1. 모델어떤 모델을 가져올 수 있는지 알아보는 것이 필요하다.대표적으로 ChatGPT, Llama3 가 있으며, 기타 다양한 모델을 HuggingFace에서 불러와 사용할 수 있다.2. 체인체인의 각 요소들을 어떻게 연결할 수 있는지3. Retriever(검색)사용자가 질의한 내용에 대해, 가장 관련성이 높은 정보를 검색해 반환한다.특정 분야의 관련성이 높은 정보를 미리 준비하면, 그에 맞는 대답을 할 수 있는 LLM 모델이 된다.Retriever는 다양한 종류가 있다.4. 프롬프트 탬플릿- 들어온 문장이나 단어를 어떻게 모델에 최종적으로 입력할지 결정한다.- 필요하다..

참고자료: LangChain docs (링크), 공식홈페이지 LangChain은 자연어 처리(NLP)를 위한 툴과 서비스를 개발 및 통합하기 위한 프레임워크를 제공하는 오픈 소스 라이브러리입니다. 양한 NLP 모델과 툴을 쉽게 사용할 수 있도록 설계되었으며, 특히 대화형 AI, 번역, 요약 등과 같은 응용 프로그램을 구축할 때 유용합니다.1. 주요 기능모델 통합: 다양한 언어 모델을 하나의 통합된 인터페이스를 통해 손쉽게 접근하고 사용할 수 있습니다.대화 관리: 사용자와의 상호작용을 관리하고 최적의 대답을 생성하기 위한 로직을 포함합니다.모듈화: 필요에 따라 커스텀 모듈을 추가하거나 기존 모듈을 변경하여 특정 작업에 맞게 조정할 수 있습니다.툴 연동: 외부 데이터베이스, API 등 다양한 외부 자원과의 ..

참조 글: openai 홈페이지, Quickstart (링크) 1. 개요 ChatGPT API를 사용해 ChatGPT를 파이썬에서 사용하는 방법을 안내 하겠습니다. 2. 개발 환경 Python 3.7.1 버전 이상 (2024.01 기준) openai 라이브러리 설치 pip install --upgrade openai 3. API 키 발급받기 openai 홈페이지에 들어가서 로그인을 한 이후, API Keys 로 들어가 발급 받을 수 있다. (링크) Create new secret key 버튼을 눌러 발급받는다. 발급 받은 키는 복사해서, python 코드에서 사용하면 된다. - 추가 팁 api key를 소스코드에 올리는 것은 보안상 좋지 않다. mac 유저의 경우 `nano ~/.bash_profile`..

1. 개요 프롬프트 튜닝(Prompt Tuning)은 인공지능 모델, 특히 자연어 처리 모델을 사용할 때 사용되는 기법. 이 기법의 핵심은 모델에 입력되는 프롬프트(명령이나 요청 등의 텍스트)를 조정하여, 모델이 원하는 방식으로 응답하도록 하는 것. 2. 특징 정확한 명령어 선택: 모델이 이해할 수 있고, 원하는 결과를 낼 수 있는 명확한 단어와 문장을 사용 문맥 설정: 때때로 프롬프트에 추가적인 정보나 문맥을 제공하여 모델이 보다 정확한 답변을 할 수 있도록 한다. 반복적 시도와 수정: 원하는 결과를 얻기 위해 프롬프트를 여러 번 시도하고 수정하는 과정 모델의 특성 이해: 다른 모델은 각각 다른 방식으로 반응하기 때문에, 사용하는 모델의 특성을 이해하는 것이 중요 3. 목표 같은 모델을 사용하면서도 다..

1. 데이터셋 뭐가 있을까?huggingface에서 데이터셋을 불러오는 방법이다. 1.1. 먼저 huggingface의 datasets을 설치한다.!pip install datasets1.2. 다음으로 다운받을 수 있는 데이터셋의 리트스를 확인해 봅시다.from datasets import list_datasetsdatasets_list = list_datasets()print('데이터의 개수:', len(datasets_list))print(datasets_list)69289데이터셋의 개수를 확인해보면 엄청 방대하다는 것을 알 수 있다.  그렇다면 어떠한 데이터들을 사용하는 것이 좋을까..?1.3. LLM에서 사용한 여러 데이터셋wikitext 설명: 'wikitext' 시리즈는 위키백과에서 추출한 데..

1. LLM 개요Large Language Model(LLM)은 자연어 처리(Natural Language Processing, NLP) 분야에서 사용되는 대규모의 언어 모델을 의미합니다. 이 모델들은 인간의 언어를 이해하고 생성하는 능력을 가지고 있으며, 그 규모와 복잡성 때문에 '대형'이라는 수식어가 붙습니다. LLM은 일반적으로 심층 신경망(Deep Neural Network, DNN) 기반으로 구축되며, 수억 혹은 수조 개의 파라미터를 가질 수 있습니다. 이런 대규모의 모델들은 매우 크고 다양한 데이터셋에서 학습됩니다. 예를 들면, 인터넷에서 크롤링한 텍스트 데이터나 위키피디아 같은 공개 텍스트 데이터를 활용합니다.LLM이 학습하는 방식 중 하나는 "transformer" 아키텍처와 "self-a..

1. 토크나이저란 토크나이저는 텍스트를 단어, 서브 단어, 문장 부호 등의 토큰으로 나누는 작업을 수행 텍스트 전처리의 핵심 과정 2. 토크나이저의 종류 2.1. 공백 기반 토크나이저(Whitespace Tokenizer) 텍스트를 공백으로 구분하여 토크나이징하는 가장 간단한 방법입니다. 이 방법은 영어와 같은 공백으로 단어가 구분되는 언어에서 잘 작동한다. 중국어나 한국어와 같이 공백이 없거나 연결되어 있는 경우에는 적합하지 않습니다. 2.2. 기본 정규식 토크나이저(Regex Tokenizer) 정규식을 사용하여 텍스트를 분할하는 방식입니다. 사용자가 원하는 기준에 따라 토크나이징할 수 있으며, 공백 외에도 문장 부호 등 다른 문자를 기준으로 텍스트를 분할할 수 있습니다. 2.3. BPE(Byte P..

논문 제출 날짜: 2023년 3월 15일논문 링크 GPT-4 Technical ReportWe report the development of GPT-4, a large-scale, multimodal model which can accept image and text inputs and produce text outputs. While less capable than humans in many real-world scenarios, GPT-4 exhibits human-level performance on various professionalarxiv.org 0.  AbstractGPT-4는 이미지와 텍스트 입력을 받아 텍스트 출력을 생성할 수 있는 다중 모달 모델이다. 이 모델은 다음 토큰을 예측하는 ..

논문 정보논문 링크논문 제목: Neural Machine Translation by jointly Learning to Align and Translate설명: RNN 기반0. Abstract기존 기계번역 방식은 통계적 방식고정길이 벡터의 사용이 성능 향상을 막음qualitative analysis이 우리의 직관과 비슷함.1. Introduction기존 연구인코더 - 디코더 형태의 연구가 성능이 좋음인코더: 고정 길이로 벡터계산을 함디코더: 인코딩된 벡터에서 번역해 출력고정 길이 벡터는 긴 문장을 처리하기 어려움해결방법정렬하고 변환하는 방법을 배우는 인코더-디코더 모델문장에서 관령성 높은 정보를 검색인코딩에서 인풋 문장을 벡터의 하위 집합(a subset of these vectors)으로 선택함.2. ..

0. 참조 깃허브 페이지 1. 시나리오 mecab-ko 설치 mecab-ko-dic 설치 python-mecab 설치 2. 설치 2.1. mecab-ko 설치 mecab-ko 다운로드 페이지 에서 다운 tar.gz 압축을 해제 설치 :::text $ tar zxfv mecab-ko-XX.tar.gz $ cd mecab-ko-XX $ ./configure $ make $ make check $ su # make install configure 에서 에러 발생 시, 명령어 라인 도구 설치 xcode-select --install su 에서 에러 발생 시, su를 활성화 해주고 비밀번호를 세팅한다 sudo -s passwd root 2.2. mecab-ko-dic 설치 mecab-ko-dic 다운로드 페이지 ..