[LLM] DeepSeek 실행 방법 with Pytorch

0. 개요

DeepSeek가 현재 상당한 이슈가 되고 있다.

게다가 오픈소스로 Huggingface에 올라와 있어

실행이 가능하다고 하니, 한번 실행해 보도록 하자.

 

huggingface 링크

deepseek-ai/DeepSeek-R1 · Hugging Face

 

1. 라이브러리 설치

참고로 Mac은 안된다. (2025.01.28 시점)

cuda가 있는 환경에서 실행해 주어야 한다.

환경은 jpyter lab 에서 python으로 실행하면 된다.

 

pytorch 설치

(Cuda는 pytorch 설치하기 전에 먼저 설치해 주세요)

pip install torch torchvision torchaudio

 

huggingface 라이브러리 설치

• 현시점 기준으로 최신버번인 4.48.1로 실행했을 때, 오류가 발생해 이전 버전으로 설치해 주자. (물론 곧 버그를 해결해줄 것 같긴하다)

pip install transformers==4.44.2

 

---

2. 모델 실행하기

모델 불러오기

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

# 디바이스 설정 (GPU가 사용 가능하면 GPU, 아니면 CPU)
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")

# 모델 및 토크나이저 로드
model_name = "deepseek-ai/DeepSeek-R1"  # 사용할 모델 이름
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name).to(device)  # 모델을 디바이스로 이동

 

실행하기

# 입력 텍스트 설정
input_text = "Hugging Face에서 PyTorch를 사용해 모델을 실행하는 방법?"
input_ids = tokenizer.encode(input_text, return_tensors="pt").to(device)  # 입력 텍스트 토큰화 후 디바이스로 이동

# 텍스트 생성
output = model.generate(input_ids, max_new_tokens=50, num_return_sequences=1)
decoded_output = tokenizer.decode(output[0], skip_special_tokens=True)  # 특수 토큰 제거 후 디코딩

# 결과 출력
print(decoded_output)

 

 

---

3. 로컬 PC에서 사용해 보기

위 모델은 규모가 커서

개인 로컬PC에서는 다운받기 어려울 것이다.

개인 로컬 PC에서 사용하기 위해서는

8B 사이즈의 Distill model 을 사용해 보자.

 

Distill model 링크 (deepseek Llana 8B)

deepseek-ai/DeepSeek-R1-Distill-Llama-8B · Hugging Face

 

모델 이름을 다음과 같이 변경하면 된다.

"deepseek-ai/DeepSeek-R1-Distill-Llama-8B"

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

# 디바이스 설정 (GPU가 사용 가능하면 GPU, 아니면 CPU)
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")

# 모델 및 토크나이저 로드
model_name = "deepseek-ai/DeepSeek-R1-Distill-Llama-8B"  # 사용할 모델 이름
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name).to(device)  # 모델을 디바이스로 이동

 

실행은 위와 같음