목차
반응형
0. 개요
LLM을 위한 Pytorch에서는
Pytorch 기본 사용방법을 이미 알고 있으며,
딥러닝에 대한 기본지식이 있는 사람들을 대상으로
LLM을 다루기 위해 Pytorch를 어떻게 사용해야 하는지를 정리할 것이다.
또한, 기본적으로 HuggingFace의 Transformers를 사용할 수 있어야 하기 때문에
함께 사용법을 알아가도록 하자.
1. Pytorch와 LLM
LLM을 다루기 위한 강력한 도구이다.
Pytorch로 다양한 작업을 수행할 수 있다.
- 모델 설계
- 학습 - 사전 학습(Pre-training), 분산 학습
- 최적화 (Optimizer)
- 디버깅 및 배포
- 모델 미세 조정(Fine-Tunning)
- 사후 작업 (Post-Training) - 양자화(Quantization), 프루닝(Pruning), Distillation
2. Transformers와 LLM
Transformers 또한 LLM을 다루기 위한 강력한 도구이다.
Transformers로는 아래와 같은 작업을 할 수 있다.
- 모델 불러오기 / 저장 및 공유
- 토크나이저 불러오기
- 데이터 로드 및 전처리 - Datasets과 연동
- 파이프라인 사용 (간단한 파이프라인으로 모델 바로 사용)
- 학습 - 모델 미세 조정(Fine-Tunning), pytorch 통합
LLM의 이론을 공부하면서
가장 핵심이 되는 도구인 Pytorch와 HuggingFace의 Transformers를 사용하는
가장 기본적인 방법에 대해 요약하고
이정도는 외워두면 좋겠다 싶은 것들을 정리하겠다.
반응형
'자연어처리 > LLM을 위한 코딩' 카테고리의 다른 글
| [LLM] 모델 학습 with HuggingFace (Accelerate) (6) (0) | 2025.02.15 |
|---|---|
| [LLM] 모델 학습 with Hugging Face (TrainingArguments, Trainer, trl) (5) (1) | 2025.02.13 |
| [LLM] 데이터 준비 with huggingface (datasets) (4) (0) | 2025.02.10 |
| LLM 모델 불러오기 실행하기 (Huggingface Transformers) (3) (2) | 2025.01.28 |
| Pytorch Transformers 설치 (2) (0) | 2025.01.28 |