UX 개발 / AI 인프라

Vast.ai + Unsloth + Gemma 4로 저비용 LLM 파인튜닝하기

Vast.aiUnslothGemma 4LLM 파인튜닝QLoRALoRAHugging FaceGGUFGPU 클라우드

생성형 AI를 실제 서비스에 적용하려고 하면 곧바로 한 가지 문제가 생긴다. 바로 GPU 비용이다.

Gemma 4와 같은 오픈 웨이트 LLM을 직접 실행하는 것은 가능하지만, 파인튜닝까지 하려면 상당한 GPU 메모리가 필요하다. 그렇다고 A100이나 H100 서버를 직접 구축하는 것도 개인 개발자나 소규모 팀에게는 부담이 크다.

이때 꽤 현실적인 조합이 있다.

Vast.ai + Unsloth + Gemma 4다.

각각의 역할을 단순하게 표현하면 다음과 같다.

  • Gemma 4: 학습할 기반 LLM
  • Unsloth: LLM 파인튜닝에 필요한 VRAM과 학습 시간을 줄여주는 프레임워크
  • Vast.ai: 필요한 시간만 GPU를 빌려 사용하는 GPU 마켓플레이스

특히 2026년 4월 공개된 Gemma 4는 텍스트뿐 아니라 이미지 입력을 지원하며, 일부 모델은 오디오까지 처리한다. 최대 256K 컨텍스트, 140개 이상의 언어 지원, reasoning과 function calling 등을 제공하는 것이 특징이다. Google은 E2B, E4B, 26B A4B, 31B를 먼저 공개한 뒤 2026년 6월 12B 모델을 추가했다.

이번 글에서는 이 세 가지를 조합해 개인용 또는 서비스용 Gemma 4 모델을 파인튜닝하는 전체 과정을 살펴본다.

1. 왜 Vast.ai + Unsloth + Gemma 4인가?

먼저 세 기술의 역할을 정확히 이해할 필요가 있다.

Gemma 4

Gemma 4는 Google DeepMind가 개발한 오픈 웨이트 모델이다.

2026년 공개된 Gemma 4 계열에는 여러 크기의 모델이 존재한다. 대표적으로 다음과 같다.

모델특징
Gemma 4 E2B모바일·엣지 환경을 고려한 소형 모델
Gemma 4 E4B비교적 가볍게 사용할 수 있는 모델
Gemma 4 12B멀티모달 작업을 고려한 중형 모델
Gemma 4 26B A4B26B MoE이지만 약 4B 파라미터를 활성화하는 구조
Gemma 4 31B고성능 Dense 모델

특히 Gemma 4는 이전 세대보다 reasoning, coding, agentic workflow에 초점을 맞추고 있으며 native system prompt도 지원한다.

따라서 단순한 챗봇뿐 아니라 다음과 같은 모델을 만드는 데 사용할 수 있다.

  • 한국어 고객 상담 모델
  • 특정 분야 전문 QA 모델
  • 사내 문서 답변 모델
  • 코딩 어시스턴트
  • 특정 문체를 사용하는 콘텐츠 생성 모델
  • 이미지까지 이해하는 멀티모달 모델
  • Tool Calling 기반 AI Agent

2. Unsloth란?

일반적인 Hugging Face Transformers 환경에서도 Gemma 4를 파인튜닝할 수 있다.

문제는 메모리와 속도다.

LLM 전체 파라미터를 학습하는 Full Fine-tuning은 GPU 메모리를 상당히 많이 사용한다. 그래서 개인 개발자가 사용하는 환경에서는 보통 LoRA 또는 QLoRA를 사용한다.

Unsloth는 이런 Parameter-Efficient Fine-Tuning 과정을 최적화해주는 프레임워크다.

Vast.ai의 공식 Unsloth Studio 가이드에서는 Unsloth 기반 학습을 일반적인 방식 대비 최대 약 2배 빠른 학습 및 최대 70% VRAM 절감을 목표로 하는 방식으로 설명하고 있다. 실제 절감률은 모델, GPU, context length, batch size 등에 따라 달라진다.

즉,

일반적인 Fine-tuning

Gemma 4
↓
Transformers
↓
높은 VRAM
↓
높은 GPU 비용

에서

Gemma 4
↓
Unsloth
↓
QLoRA
↓
낮은 VRAM 사용
↓
GPU 비용 감소

구조를 만들 수 있다.

3. Vast.ai는 무엇인가?

Vast.ai는 GPU를 제공하는 클라우드 마켓플레이스다.

일반적인 클라우드 서비스와 조금 다른 점은 GPU 공급자가 다양한 서버를 등록하고 사용자가 가격, GPU 종류, VRAM, 신뢰도 등을 비교해 인스턴스를 선택한다는 것이다.

따라서

RTX 3090
RTX 4090
RTX 5090
A6000
A100
H100
H200

등의 GPU를 필요할 때만 임대해 사용할 수 있다.

Vast.ai는 현재 공식 Unsloth Studio 템플릿도 제공하고 있다. 해당 템플릿을 선택하면 별도의 복잡한 CUDA 환경 구성 없이 브라우저에서 Unsloth Studio를 실행할 수 있다.

4. 세 가지를 조합하면 어떻게 되는가?

전체 구조는 상당히 단순하다.

Vast.ai
    ↓
GPU 서버 임대
    ↓
Unsloth
    ↓
Gemma 4 로드
    ↓
Dataset
    ↓
QLoRA Fine-tuning
    ↓
Custom Gemma 4
    ↓
LoRA / GGUF / Hugging Face
    ↓
Ollama / LM Studio / vLLM / API Server

이 구조의 장점은 GPU를 보유할 필요가 없다는 것이다.

학습할 때만 Vast.ai 서버를 사용하고 학습이 끝난 후 모델을 Hugging Face나 로컬 PC로 옮긴 다음 인스턴스를 삭제하면 된다.

5. 가장 쉬운 방법: Vast.ai + Unsloth Studio

처음 시도한다면 Python 코드를 직접 작성하는 것보다 Unsloth Studio를 사용하는 것이 편하다.

Vast.ai는 현재 공식적으로 Unsloth Studio용 템플릿을 제공한다.

Step 1. Vast.ai 가입

Vast.ai 계정을 만든 후 GPU 사용을 위한 크레딧을 충전한다.

그다음 Instance 검색 화면으로 이동한다.

Step 2. Unsloth Studio Template 선택

Vast.ai의 Unsloth Studio 템플릿을 선택한다.

공식 가이드에서는 GPU 선택 시 다음과 같은 요소를 확인할 것을 권장한다.

  • GPU VRAM
  • 시간당 가격
  • 서버 Reliability
  • Disk 용량

특히 Reliability는 가능하면 95% 이상의 인스턴스를 선택하는 것이 좋다.

6. GPU는 무엇을 선택해야 할까?

처음부터 Gemma 4 31B를 선택할 필요는 없다.

개인적으로 테스트하는 단계라면 작은 모델부터 시작하는 것이 훨씬 효율적이다.

예를 들어 QLoRA 기반 학습에서는 작은 모델의 VRAM 요구량이 크게 감소한다. 다만 Unsloth가 공개한 Gemma 4 메모리 표는 GGUF 추론 기준이므로 파인튜닝 최소 VRAM으로 읽으면 안 된다. 학습 메모리는 context length, batch size, gradient checkpointing, LoRA 대상 모듈과 quantization 방식에 따라 크게 달라진다.

따라서 Gemma 4를 처음 실험한다면 실무적으로 다음과 같이 접근할 수 있다.

입문
Gemma 4 E2B / E4B
+
RTX 3090 / 4090급 24GB

↓

중급
Gemma 4 12B
+
24~48GB급 GPU

↓

고성능 실험
Gemma 4 26B A4B / 31B
+
48GB GPU 또는 Multi-GPU

이는 고정된 최소 요구사항이라기보다 안정적인 실험을 위한 보수적인 출발점으로 보는 것이 좋다. 실제 VRAM은 sequence length, batch size, 학습 대상 layer, quantization 방식에 크게 좌우된다. 처음에는 Vast.ai 가이드처럼 24GB급 GPU를 기준으로 작은 모델과 짧은 context에서 시작하고, 실행 직후 GPU 메모리를 확인해 값을 조정하는 편이 안전하다.

7. Unsloth Studio 실행

Vast.ai에서 Instance를 생성하고 Running 상태가 되면 Open을 선택한다.

Applications 화면에서

Unsloth Studio

를 실행하면 된다.

현재 Vast.ai 템플릿에서는 브라우저 기반 UI를 통해 모델 실행과 파인튜닝 작업을 수행할 수 있다.

즉 Jupyter Notebook을 직접 작성하지 않아도 된다.

8. Gemma 4 다운로드

Gemma 계열 모델은 Hugging Face에서 가져올 수 있다.

Unsloth는 현재 Gemma 4를 직접 지원하며 공식 예제에는 다음 모델들이 포함되어 있다.

unsloth/gemma-4-E2B-it
unsloth/gemma-4-E4B-it
unsloth/gemma-4-12b-it
unsloth/gemma-4-31B-it
unsloth/gemma-4-26B-A4B-it

그리고 Base Model도 제공한다.

unsloth/gemma-4-E2B
unsloth/gemma-4-E4B
unsloth/gemma-4-12b
unsloth/gemma-4-31B
unsloth/gemma-4-26B-A4B

보통 챗봇이나 서비스용 모델을 만들고 싶다면 -it, 즉 instruction-tuned 모델에서 시작하는 것이 편하다.

예를 들어

unsloth/gemma-4-E4B-it

를 사용할 수 있다.

9. GGUF와 Safetensors를 혼동하면 안 된다

여기서 상당히 중요한 부분이 있다.

GGUF는 주로 추론용이다.

예를 들어

Ollama
LM Studio
llama.cpp

에서 모델을 실행할 때 사용하기 좋다.

하지만 Fine-tuning을 할 계획이라면 일반적으로 학습 가능한 모델 체크포인트를 가져와야 한다.

Vast.ai의 Unsloth Studio 문서 역시 GGUF 모델은 inference 용도로 사용하고 파인튜닝에는 safetensors 기반 모델을 사용해야 한다고 설명한다.

10. Dataset 준비하기

파인튜닝에서 실제로 가장 중요한 것은 GPU도 아니고 모델도 아니다.

Dataset이다.

예를 들어 다음과 같은 고객 상담 모델을 만든다고 가정하자.

{
  "messages": [
    {
      "role": "user",
      "content": "회원가입은 어떻게 하나요?"
    },
    {
      "role": "assistant",
      "content": "홈페이지 오른쪽 상단의 회원가입 버튼을 선택한 후 이메일 인증을 진행해 주세요."
    }
  ]
}

이런 데이터가 수백~수천 개 존재하면 특정 서비스에 맞는 답변 패턴을 모델에 학습시킬 수 있다.

Unsloth Studio는 현재 다음과 같은 파일 포맷을 지원한다.

JSON
JSONL
CSV
Parquet
PDF
DOCX
TXT

그리고 ChatML, Alpaca, ShareGPT 계열의 대화 포맷을 인식한다.

11. QLoRA로 학습하기

개인 개발자라면 대부분 QLoRA부터 시작하는 것이 합리적이다.

Unsloth Studio에서는 대략 다음 세 가지 방식을 선택할 수 있다.

방식VRAM특징
QLoRA 4bit낮음일반적으로 첫 번째 선택
LoRA 16bit중간VRAM 여유가 있을 때
Full Fine-tuning매우 높음제한적인 상황에서 사용

처음에는

QLoRA 4bit

를 선택하면 된다.

12. 기본 Training Parameter

처음 학습한다면 지나치게 많은 값을 변경하지 않는 것이 좋다.

Vast.ai의 Unsloth Studio 가이드가 제시하는 시작값은 다음과 같다.

Epochs: 1~3
Learning Rate: 2e-4
Batch Size: 2~4
Context Length: 2048
LoRA Rank: 16

다만 이것은 어디까지나 시작점이다.

예를 들어 긴 문서 학습에서는

Context Length
2048
↓
4096
↓
8192

로 증가시킬 수 있다.

하지만 context length가 증가하면 GPU 메모리 사용량도 증가한다.

따라서 Out Of Memory가 발생한다면 우선 다음 순서로 줄이는 것이 현실적이다.

Batch Size 감소

↓

Context Length 감소

↓

LoRA Rank 감소

↓

더 큰 VRAM GPU 사용

13. Python으로 직접 Gemma 4 Fine-tuning하기

UI가 아니라 Python으로 제어하고 싶다면 Unsloth의 FastModel을 사용할 수 있다. Gemma 4 통합은 빠르게 업데이트되고 있으므로 실제 학습 전에는 Unsloth의 최신 Gemma 4 가이드와 notebook의 설치 셀을 우선 확인하자.

Unsloth의 공식 Gemma 4 notebook은 현재 FastModel을 사용해 Gemma 4를 로딩한다.

개념적으로는 다음과 같은 형태다.

from unsloth import FastModel

model, tokenizer = FastModel.from_pretrained(
    model_name="unsloth/gemma-4-E4B-it",
    max_seq_length=8192,
    load_in_4bit=True,
    full_finetuning=False,
)

여기서 가장 중요한 부분은

load_in_4bit=True

다.

4bit quantization을 이용하여 메모리 사용량을 줄인다. Unsloth 공식 Gemma 4 예제 역시 동일한 방식으로 모델을 로드한다.

14. LoRA Adapter 추가하기

다음 단계는 학습할 부분을 선택하는 것이다.

Unsloth의 Gemma 4 공식 예제에서는 FastModel.get_peft_model()을 이용한다.

예를 들어 텍스트 중심 모델이라면 다음처럼 구성할 수 있다. 이미지·오디오까지 학습하는 멀티모달 파인튜닝은 전처리와 학습 대상이 달라지므로 Unsloth의 최신 멀티모달 예제를 별도로 따라야 한다.

model = FastModel.get_peft_model(
    model,

    finetune_vision_layers=False,
    finetune_language_layers=True,
    finetune_attention_modules=True,
    finetune_mlp_modules=True,

    r=8,
    lora_alpha=8,
    lora_dropout=0,
    bias="none",
)

여기서

r

은 LoRA rank다.

높이면 모델이 학습할 수 있는 표현력이 증가할 수 있지만 메모리 사용량과 overfitting 가능성도 함께 증가한다.

15. Gemma 4 Chat Template 적용

LLM 파인튜닝에서 자주 발생하는 실수가 있다.

단순히 질문과 답변 문자열을 붙여 학습하는 것이다.

Instruction model은 모델마다 대화 포맷이 다르기 때문에 해당 모델의 chat template을 사용하는 것이 중요하다.

Unsloth의 Gemma 4 예제에서는 Gemma 4용 chat template을 사용한다.

예를 들면 다음과 같다.

from unsloth.chat_templates import get_chat_template

tokenizer = get_chat_template(
    tokenizer,
    chat_template="gemma-4-thinking",
)

특히 reasoning 모델이나 multi-turn conversation 모델을 학습할 경우 chat template 오류는 학습 품질에 직접적인 영향을 줄 수 있다.

16. Trainer 구성

Unsloth는 Hugging Face TRL의 SFTTrainer와 함께 사용할 수 있다.

Gemma 4 공식 Unsloth 예제 역시 SFTTrainer와 SFTConfig를 사용한다.

간단한 형태로 작성하면 다음과 같다.

from trl import SFTTrainer, SFTConfig

trainer = SFTTrainer(
    model=model,
    tokenizer=tokenizer,
    train_dataset=dataset,

    args=SFTConfig(
        dataset_text_field="text",

        per_device_train_batch_size=1,
        gradient_accumulation_steps=4,

        learning_rate=2e-4,
        max_steps=60,

        logging_steps=1,
        optim="adamw_8bit",

        weight_decay=0.001,
        lr_scheduler_type="linear",
        report_to="none",
    ),
)

그리고

trainer.train()

을 실행하면 학습이 시작된다.

공식 notebook은 빠른 테스트를 위해 max_steps=60을 사용하고 있으며 전체 학습에서는 epoch 기반 설정으로 변경할 수 있다고 설명한다.

17. Fine-tuning 모델 저장하기

학습이 끝났다면 결과를 저장해야 한다.

LoRA Adapter만 저장하려면 다음처럼 할 수 있다.

model.save_pretrained("gemma_4_lora")
tokenizer.save_pretrained("gemma_4_lora")

이 경우 저장되는 것은 전체 Gemma 4 모델이 아니라 LoRA Adapter다.

따라서 용량이 훨씬 작다.

구조는 다음과 같다.

Gemma 4 Base Model
+
LoRA Adapter
=
Fine-tuned Gemma 4

18. Hugging Face에 업로드하기

클라우드에서 학습한 모델을 보관하는 가장 편한 방법 중 하나는 Hugging Face Hub이다.

예를 들어

model.push_to_hub(
    "username/gemma4-custom",
    token="HF_TOKEN"
)

tokenizer.push_to_hub(
    "username/gemma4-custom",
    token="HF_TOKEN"
)

형태로 저장할 수 있다. Unsloth의 Gemma 4 notebook 역시 local save_pretrained와 Hugging Face Hub 업로드 방식을 모두 예시로 제공한다.

토큰을 notebook에 직접 적어 공유하거나 이미지에 포함하지 말고 환경 변수나 Hugging Face의 로그인 기능으로 관리하자. 업로드가 끝난 뒤에는 저장소가 공개인지 비공개인지도 반드시 확인해야 한다.

이렇게 하면 Vast.ai 인스턴스를 삭제해도 모델을 다시 사용할 수 있다.

19. GGUF로 변환해서 로컬에서 실행하기

학습은 클라우드에서 하고 실제 실행은 로컬 PC에서 하는 구조도 상당히 유용하다.

예를 들어

Vast.ai
RTX 4090 / A6000
        ↓
Gemma 4 Fine-tuning
        ↓
GGUF Export
        ↓
Mac / Windows
        ↓
Ollama / LM Studio / llama.cpp

구조다.

Vast.ai의 Unsloth Studio는 현재 학습 결과를 다음과 같은 형태로 export할 수 있다.

Merged Model
LoRA Only
GGUF / llama.cpp

Vast.ai 문서에서는 로컬 실행 용도에서 Q4_K_M GGUF를 품질과 파일 크기의 균형을 위한 선택지로 제시한다.

20. 이 조합의 가장 큰 효과

그렇다면 Vast.ai + Unsloth + Gemma 4 조합의 가장 큰 장점은 무엇일까?

첫 번째: GPU를 구매하지 않아도 된다

LLM 개발을 위해 수백만 원짜리 GPU를 구매할 필요가 없다.

필요한 시간만 GPU를 임대한다.

개발
↓
GPU Rent
↓
Fine-tuning
↓
Model 저장
↓
Instance 삭제

형태로 사용할 수 있다.

두 번째: QLoRA로 VRAM 요구량을 줄일 수 있다

Full Fine-tuning 대신 QLoRA를 사용하면 전체 파라미터를 업데이트하지 않고 상대적으로 작은 adapter를 학습한다.

따라서 consumer GPU에서도 상당수 모델의 fine-tuning 실험이 가능해진다.

Vast.ai의 공식 Unsloth 가이드도 QLoRA를 VRAM 사용량이 가장 낮은 기본 선택지로 안내한다.

세 번째: Fine-tuning 실험 비용을 낮출 수 있다

LLM fine-tuning은 한 번으로 끝나는 경우가 거의 없다.

보통

Dataset v1
↓
Training
↓
Evaluation
↓
Dataset 수정
↓
Training
↓
Evaluation

과정을 반복한다.

따라서 GPU를 소유하는 것보다 필요할 때마다 다양한 GPU 인스턴스를 선택할 수 있는 방식이 연구나 PoC 단계에서는 유리할 수 있다.

21. Fine-tuning을 하면 무엇이 좋아질까?

여기에서 중요한 오해가 있다.

Fine-tuning을 한다고 모델이 무조건 더 똑똑해지는 것은 아니다.

예를 들어 Gemma 4를 회사 데이터로 fine-tuning한다고 해서 모델이 갑자기 모든 회사 문서를 정확하게 기억하는 것은 아니다.

Fine-tuning은 특히 다음 영역에 효과적이다.

답변 형식 학습

예:

사용자:
환불 가능한가요?

기본 Gemma:
환불 정책에 따라 다를 수 있습니다...

Fine-tuned Gemma:
결제일 기준 7일 이내이며 서비스 이용 이력이 없는 경우 마이페이지 → 결제관리 → 환불신청 메뉴에서 신청할 수 있습니다.

특정 문체 학습

일반적인 답변
↓
회사 공식 상담 문체

또는

일반적인 글
↓
블로그 스타일

출력 구조 학습

예를 들어 항상 JSON으로 출력하도록 학습할 수도 있다.

{
  "category": "refund",
  "priority": "normal",
  "answer": "..."
}

API 시스템을 만들 때 특히 유용하다.

22. 하지만 지식 주입 목적이라면 RAG도 고려해야 한다

Fine-tuning과 RAG를 혼동해서는 안 된다.

예를 들어 매일 변경되는 상품 가격이나 사내 규정을 모델에게 알려줘야 한다면 Fine-tuning만으로 해결하는 것은 적절하지 않을 수 있다.

이런 경우에는

Gemma 4
+
Vector DB
+
RAG

구조가 더 적합하다.

반대로

답변 스타일
응답 포맷
업무 패턴
분류 방식
특정 행동

을 학습시키고 싶다면 Fine-tuning의 가치가 크다.

실제로 서비스에서는

Gemma 4
+
Fine-tuning
+
RAG

를 동시에 사용하는 경우가 가장 실용적인 구조가 될 수 있다.

23. 좋은 Dataset이 좋은 모델을 만든다

Fine-tuning에서 가장 흔한 실수는 Dataset 양만 늘리는 것이다.

예를 들어

10,000개 저품질 데이터

보다

1,000개 고품질 데이터

가 더 유용할 수도 있다.

특히 다음을 확인해야 한다.

중복 데이터 제거

잘못된 답변 제거

문체 통일

질문 형식 다양화

지나치게 긴 답변 제거

잘못된 hallucination 제거

그리고 가능한 경우 train dataset과 별도로 evaluation dataset을 만들어야 한다.

24. Base Model과 Fine-tuned Model을 반드시 비교하자

학습 loss가 감소했다고 모델이 좋아졌다고 판단하면 안 된다.

실제 질문을 넣어 비교해야 한다.

Vast.ai의 Unsloth Studio에는 두 모델에 동일한 prompt를 전달해 비교하는 Model Arena 기능도 제공된다.

예를 들어

Gemma 4 Original
        VS
Gemma 4 Fine-tuned

형태로 비교한다.

평가 기준도 미리 만들어두는 것이 좋다.

정확성
형식 준수
Hallucination
답변 길이
전문 용어 사용
한국어 자연스러움

25. Vast.ai 사용 시 가장 중요한 주의점

Vast.ai를 사용할 때 한 가지는 반드시 기억해야 한다.

작업이 끝나면 Instance를 Destroy해야 한다.

Vast.ai 공식 문서에 따르면 Stop 상태에서는 compute 비용은 중단할 수 있지만 storage 비용은 계속 발생할 수 있다. 모든 비용을 중단하려면 Instance를 Destroy해야 한다. 단, Destroy하면 인스턴스 내부 데이터도 삭제되므로 모델을 먼저 export해야 한다.

또한 Vast.ai는 여러 공급자의 장비를 연결하는 마켓플레이스다. 고객 정보나 사내 문서처럼 민감한 데이터를 올릴 때는 공급자 유형과 보안 요구사항을 먼저 검토하고, 가능하면 비식별화·암호화된 데이터와 검증된 데이터센터 인스턴스를 사용하자.

따라서 다음 순서를 습관화하는 것이 좋다.

Training 완료

↓

Inference Test

↓

LoRA 저장

↓

Hugging Face Upload

↓

필요하면 GGUF Export

↓

파일 확인

↓

Vast.ai Instance Destroy

26. 추천하는 첫 번째 실험

처음부터 거대한 Dataset이나 31B 모델을 사용할 필요는 없다.

다음 정도로 시작하는 것을 추천한다.

GPU
RTX 4090 24GB급

Model
Gemma 4 E4B IT

Fine-tuning
QLoRA 4bit

Dataset
500~2,000 samples

Epoch
1

Context
2048

LoRA Rank
8~16

목표도 단순하게 잡는다.

예를 들어

“한국어 IT 기술 블로그 작성 모델”

을 만든다고 하자.

Dataset은 다음처럼 구성할 수 있다.

{
  "messages": [
    {
      "role": "user",
      "content": "React Server Components를 설명하는 블로그 글을 작성해 주세요."
    },
    {
      "role": "assistant",
      "content": "React Server Components란..."
    }
  ]
}

이런 고품질 데이터를 일정량 학습시키면 Gemma 4가 원하는 콘텐츠 구조와 문체를 더 안정적으로 따르도록 조정할 수 있다.

27. 조금 더 발전시키면

첫 번째 Fine-tuning이 성공하면 다음 단계로 확장할 수 있다.

Stage 1

Gemma 4 E4B
+
QLoRA
+
Text Dataset

다음에는

Stage 2

Gemma 4 12B
+
더 많은 Dataset
+
Evaluation Dataset

그리고

Stage 3

Fine-tuned Gemma 4
+
RAG
+
Vector DB
+
Function Calling

마지막으로

Stage 4

Frontend
+
FastAPI / Node.js
+
vLLM
+
Fine-tuned Gemma 4

구조로 실제 AI 서비스를 만들 수 있다.

28. 전체 구조 정리

결국 세 기술은 다음과 같은 관계다.

                  ┌───────────────┐
                  │    Vast.ai    │
                  │   GPU Cloud   │
                  └───────┬───────┘
                          │
                          ▼
                  ┌───────────────┐
                  │    Unsloth    │
                  │ Fine-tuning   │
                  └───────┬───────┘
                          │
                          ▼
                  ┌───────────────┐
                  │    Gemma 4    │
                  │  Base Model   │
                  └───────┬───────┘
                          │
                          ▼
                      Dataset
                          │
                          ▼
                       QLoRA
                          │
                          ▼
                Custom Gemma 4
                  │            │
                  ▼            ▼
                GGUF       LoRA Adapter
                  │            │
                  ▼            ▼
             Ollama/LM     Hugging Face

마무리

과거에는 LLM을 직접 fine-tuning하려면 고가의 GPU 서버와 상당한 머신러닝 지식이 필요했다.

하지만 현재는 상황이 많이 달라졌다.

Vast.ai에서 필요한 시간만 GPU를 임대하고, Unsloth를 이용해 QLoRA 방식으로 VRAM 사용량을 줄이며, Gemma 4와 같은 강력한 오픈 웨이트 모델을 자신의 데이터에 맞게 조정할 수 있다. Vast.ai는 Unsloth Studio용 공식 템플릿까지 제공하고 있어 코드 없이 fine-tuning을 시작하는 것도 가능하다.

특히 Gemma 4는 2026년 공개된 모델답게 reasoning, coding, multimodal input, function calling, 긴 context 등을 지원하고 있어 단순한 개인 챗봇보다는 전문 업무 모델이나 로컬 AI Agent를 만들기 위한 기반 모델로 활용 가치가 크다.

다만 핵심은 모델 크기가 아니다.

좋은 Base Model
+
좋은 Dataset
+
적절한 Fine-tuning
+
정확한 Evaluation

이 네 가지가 더 중요하다.

처음 시도한다면 거대한 31B 모델을 학습하기보다 Gemma 4 E4B + Vast.ai의 24GB급 GPU + Unsloth QLoRA 정도의 구성으로 작은 Dataset부터 실험하는 것이 합리적이다.

그리고 Fine-tuning이 실제로 효과가 있다는 것을 확인한 뒤 12B나 31B 모델, RAG, Tool Calling, AI Agent로 단계적으로 확장하는 것이 비용과 개발 난이도 측면에서 가장 효율적인 접근이다.

Related