[자연어처리] GPT 4 논문 리뷰

gpt-4

• 논문 제출 날짜: 2023년 3월 15일
• 논문 링크

GPT-4 Technical Report

 

0.  Abstract

GPT-4는 이미지와 텍스트 입력을 받아 텍스트 출력을 생성할 수 있는 다중 모달 모델이다. 이 모델은 다음 토큰을 예측하는 것을 기반으로 사전 훈련된 Transformer 기반 모델이다.

 

1. Intro

이미지와 텍스트 입력을 처리하고 텍스트 출력을 생성할 수 있는 대규모 다중 모달 모델인 GPT-4을 제시한다. 이 모델은 대화 시스템, 텍스트 요약, 기계 번역 등 다양한 응용 분야에서 활용할 수 있는 연구분야이다. 기존의 대형 언어 모델 및 최첨단 시스템보다 우수한 성능을 보이며, 다양한 언어에서도 강력한 성능을 발휘한다. 또한 다양한 시험(테스트)에서 인간보다 우수한 성능을 보인다.

 

GPT-4의 한계점은 완전히 신뢰할 수 없다는 점이다. 편견, 정보의 왜곡, 개인정보 보호, 사이버 보안 등의 안전 문제가 있다.

 

2. Scope and Limitations of this Technical Report

경쟁사에게 공개를 하기 않기 위해 하드웨어, 컴퓨팅, 데이터셋, 훈련 방법 등 자세한 내용은 공개하지 않는다.

 

3. Predictable Scaling

예측 가능한 스케일링을 갖는 딥러닝 스택을 구축을 위해 노력했다. 왜냐하면 대규모 학습에서 각 모델을 튜닝하는 것은 어렵기 때문이다. 이를 위해 다중 스케일에서 예측 가능한 동작을 가진 인프라 및 최적화 방법을 개발했다. 이를 통해 1000~ 10000배 적게 연산을 사용해 일부 모델을 만들었고, 성능을 신뢰성 있게 예측할 수 있도록 했다.

 

3.1 Loss Prediction

최종 Loss(손실)은 적은 양을 훈련시킨 모델의 손실과 선형 관계에 있다. 이를 이용해 적은 양을 훈련시킨 모델로 최종 손실을 예측하였다.

 

3.2 Scaling of Capabilities on HumanEval

해당 연구에서는 손실 이외에 해석 가능한 능력 지표를 예측하는 방법론을 개발하였다.

 

먼저 HumanEval 데이터 세트에서의 패스 비율이다. HumanEval dataset은 사람들이 작성한 자연어와 프로그래밍 언어로 이루어진 데이터셋이다. 다양한 난이도와 길이의 문제로 구성되어 있어 모델의 능력과 성능을 평가할 수 있다.

 

다음으로는 약한 거듭제곱 법칙이다. 이 법칙에 따르면, 모델의 성능(예를 들어, 최종 손실)은 모델 학습에 사용된 컴퓨팅 리소스(예: GPU 수, 학습에 사용된 시간 등)의 거듭제곱 함수로 예측할 수 있다는 것을 의미한다. 따라서, 약한 거듭제곱 법칙은 모델 학습 전에 모델의 성능을 예측하고, 이를 사용하여 모델을 개선하거나 안전하게 배포하는 것과 같은 의사 결정을 지원하는 데 사용된다.

$$ −E_P [log(pass_rate(C))] = α∗C^{−k} $$

 

4. Capabilities

이번 연구는 능력, 기술, 성능 역량에 대한 테스트 이다.

 

해당 연구에서 여러 방법으로 테스트 하였다. 그중 객관식과 주관식이 포함된 시험문제를 풀게 했는데, 특히 Uniform Bar Examination (미국 변호사 자격 시험)에서 상위 10% 성적을 내었다.

 

또한 다양한 언어에서 성능을 평가하기 위해 MMLU를 다양한 언어로 번역해 평가에 이용했다. MMLU는 교육 분야에서 학생들의 학습 성과를 평가하는 벤치마크이며 57개의 주제를 가지고 있다. 주제에는 수학적 사고력, 수리 논리, 대수, 기하학, 측정, 데이터 분석 등이 있다.

 

 

4.1 Visual Inputs

GPT-4는 텍스트와 이미지를 받아들여 텍스트를 출력할 수 있다. 사진, 도표가 포함된 문서에서 텍스트만 있는 입력물과 마찬가지로 비슷한 능력을 발휘한다.

 

5. Limitations

- 이전 모델과 마찬가지로 신뢰성의 문제가 있다. 정확성, 논리성에 대한 한계가 있다.

- 학습 데이터 이후에 발생한 사건에 대한 지식이 부족하다. (2021년 9월)

- 사용자로부터 가짓된 문장을 받아들일 수 있다.

- GPT-4는 실수할 가능성이 높을 때에 더블체크 하지 않으면서도, 자신의 예측에 확신이 있다.

- 사전 학습모델(pre-train model)은 높은 보정성을 보이지만, 사후 훈련(Post-training)이후에는 보정성이 낮아진다.

 

6. Risk & mitigations(문제를 줄이는 것)

해당 연구에서는 안전성과 사람의 의도를 이해하는 것에 큰 노력을 하였다.

GPT-4모델은 해로운 조언, 버그가 있는 코드, 부정확한 정보를 생성할 수 있다. 이러한 요소를 평가하기 위해 사이버 보안, 생물 위험, 국제 안보와 같은 분야에서 50명 이상의 전문가들을 동원하여 적대적 테스트를 진행하였다. 이 전문가들로부터 수집한 권장사항을 참고해 모델을 개선하고 위험 완화에 반영되었다.

 

모델 지원 안정성 파이프라인

- RLHF를 이용해 사용자의 의도에 맞도록 세부조정 이후에도, 안전하지 않은 입력에 대해 불안정할 수 있다. 그리고 안전한 입력에서도 원치 않은 동작을 할 수 있는 문제도 있다. 무해한 요청에도 거절하거나, 지나치게 양해의 태도를 취할 수 있다. 반면에 안전하지 않은 입력을 받으면 범죄를 권유하는 태도를 취할 수 있다. 이러한 문제를 해결하기 위해 규칙 기반 모상 모델(RBRMs)가 추가적으로 사용된다.

- RBRMs는 gpt-4 제로샷 분류기의 세트이다. 이 분류기는 유해한 콘텐츠를 생성하지 않는 등의 올바른 동작을 하면 추가적인 보상 신호를 제공한다.

 

안정성 지표 개선

- GPT-3.5 대비 부적절한 콘텐츠 요청에 대한 응답 빈도를 82% 감소시켰다. 그리고 민감한 요청 (예: 의료상담 및 자해) 등에서는 정책에 따라 응답하는 비율이 29% 높아졌다.

- RealToxicityPrompts 데이터셋은 자연어 처리 모델의 독성을 분류하기 위해 구성된 데이터셋이다. GPT-4에서는 RealToxicityPrompts 데이터셋에서 유해한 생성물을 0.73%만 생성했다. 반면 gpt-3.5에서는 유해한 생성물을 6.48%를 생성하였다.

- 모델 수준의 개입으로 안전성을 높혔지만, 여전히 나쁜 행동을 유도하는 것은 가능하다. 

 

7. Conclusion

GPT-4는 인간 수준의 성능을 가진 대규모 모델이다. 자연어처리 Task에서 기존 모델들보다 높은 성능을 보인다. 이러한 향상은 다양한 언어에서도 나타난다. 그러나 이러한 능력은 새로운 위험성을 가지고 있어, 이를 해결하기위해 다양한 방법을 시도했다. GPT-4는 안전하게 배포될 수 있는 유용한 AI시스템으로서 중요한 발전을 이루었다.

 

 

 

리뷰

인공지능 모델이 인간의 수준을 넘어서게 되어 큰 충격이 아닐 수가 없다. 앞으로의 기술 발전 속도보다, 해당 기술이 사회에 악용되는 것이 더 큰 이슈가 되고 있다. 앞으로 어린이와 청소년을 위한 인공지능 서비스도 따로 출시되었으면 좋겠다. 

 

앞으로 인간수준의 모델이 개발된다면, 많은 직업에서 인간을 대체할 수 있을 것이다. 특히 전문직 종사자 중 신입사원은 인공지능 보다 업무 능력이 떨어질 수 있기 때문에 회계사, 변호사, 약사, 의사 등의 전문직의 입지가 좁아지는 날도 멀지 않아 보인다.

 

이번 논문을 보고 인공지능에 대한 가능성을 보게 되었고 앞으로도 인간을 뛰어 넘는 모델이 나올 것이라 믿는다. 내가 공부하고 있는 이 학문이 무긍무진한 가능성이 있다는 것에 큰 기쁨을 느끼며, 나 스스로 앞으로 나아가는 데에 확인이 생기게 된 논문이었다.