인공지능 시대

논문 제출 날짜: 2023년 3월 15일 논문 링크 GPT-4 Technical Report We report the development of GPT-4, a large-scale, multimodal model which can accept image and text inputs and produce text outputs. While less capable than humans in many real-world scenarios, GPT-4 exhibits human-level performance on various professional arxiv.org 0. Abstract GPT-4는 이미지와 텍스트 입력을 받아 텍스트 출력을 생성할 수 있는 다중 모달 모델이다. 이 모델은 다음 토큰을 예측..

논문 정보 논문 링크 논문 제목: Neural Machine Translation by jointly Learning to Align and Translate 설명: RNN 기반 0. Abstract 기존 기계번역 방식은 통계적 방식 고정길이 벡터의 사용이 성능 향상을 막음 qualitative analysis이 우리의 직관과 비슷함. 1. Introduction 기존 연구 인코더 - 디코더 형태의 연구가 성능이 좋음 인코더: 고정 길이로 벡터계산을 함 디코더: 인코딩된 벡터에서 번역해 출력 고정 길이 벡터는 긴 문장을 처리하기 어려움 해결방법 정렬하고 변환하는 방법을 배우는 인코더-디코더 모델 문장에서 관령성 높은 정보를 검색 인코딩에서 인풋 문장을 벡터의 하위 집합(a subset of these v..

0. 참조 깃허브 페이지 1. 시나리오 mecab-ko 설치 mecab-ko-dic 설치 python-mecab 설치 2. 설치 2.1. mecab-ko 설치 mecab-ko 다운로드 페이지 에서 다운 tar.gz 압축을 해제 설치 :::text $ tar zxfv mecab-ko-XX.tar.gz $ cd mecab-ko-XX $ ./configure $ make $ make check $ su # make install configure 에서 에러 발생 시, 명령어 라인 도구 설치 xcode-select --install su 에서 에러 발생 시, su를 활성화 해주고 비밀번호를 세팅한다 sudo -s passwd root 2.2. mecab-ko-dic 설치 mecab-ko-dic 다운로드 페이지 ..

1. 시나리오 jpype1 설치 konlpy 설치 2. 설치 방법 2.1. jpype1 설치 conda install -c conda-forge jpype1 2.2. konlpy 설치 pip install konlpy 다음 장에서는 mecab설치 방법에 대해 정리할 것이다.

0. 논문 소개 논문 링크 [Attention Is All You Need The dominant sequence transduction models are based on complex recurrent or convolutional neural networks in an encoder-decoder configuration. The best performing models also connect the encoder and decoder through an attention mechanism. We propose a new arxiv.org](https://arxiv.org/abs/1706.03762) 1. Abstract 기존 최고 성능은 인코더와 디코더를 사용한 복잡한 모델, 또는 CNN 기반 모..

논문 링크 Language Models are Few-Shot Learners Recent work has demonstrated substantial gains on many NLP tasks and benchmarks by pre-training on a large corpus of text followed by fine-tuning on a specific task. While typically task-agnostic in architecture, this method still requires task-specific fi arxiv.org 1. Introduction 최근 연구의 한계 몇가지 예제만으로 task에 적응 할 수 있으면 더 다양한 테스트크에 적용 가능 pretrain 과정에서 큰 ..

논문 링크 1. Abstract 해당 논문에서는 비지도 학습 방식 (기존에는 아니였고) zero-shot task transfer 방법으로 연구 추가설명: zero-shot이란 모델이 학습 과정에서 배우지 않은 작업을 수행하는 것임 2. Introduction 범용적인 모델 필요(기존에는 좁은 범위의 문제만 가능) 기존연구 가장 성능이 높은 언어처리모델은 사전학습(pre-training)과 지도 세부학습(supervised fine-tuning)의 결합 self-attention block 사용했음. 이러한 방법들은 여전히 지도학습을 필요 현 연구 어떤 parameter나 모델구조의 변화 없이도 zero-shot setting 하에서 downstream task를 수행 3. Approach 기존 언어 모..

논문: Improving Language Understanding by Generative Pre-Training 논문 링크 1. Introduction 이전 연구의 어려운점 기존의 딥러닝 모델은 지도학습, 레이블링된 데이터를 구하는데 한계가 있음 Text representation을 학습시키는 것에 어떤 optimization objective가 효과적인지 불분명 unsupervised pre-training과 supervised fine-tuning을 합친 semi=supervised learning을 제안 최종 목표: 일반적으로 높은 성능을 낼 수 있는 특성을 학습, 이 후 조금의 변화를 통해 다양한 task에 적용 데이터: 대량의 unlabeled data, task에 알맞는 labeled dat..