젬마4 로컬 설치 방법 — Ollama 터미널 한 줄이면 끝나는데 함정이 있다

저번에 젬마4 소개 글을 올렸는데, 유입 키워드를 보니까 사람들이 가장 궁금해하는 게 딱 하나더라. "그래서 어떻게 깔아?" 이거.

클라우드 API 말고, 진짜 내 PC에서 돌리는 방법. 오늘은 그것만 다룬다. 솔직히, 터미널 한 줄이면 끝나긴 해. 근데 중간에 함정이 좀 있거든. 내가 삽질한 거 다 정리해놨으니까, 이거 보고 시간 아끼자.

관련 글

→ 구글 젬마4 써봤는데, 솔직히 이건 좀 미쳤다

로컬 AI, 왜 굳이 내 PC에서 돌리려는 건데

ChatGPT 월 2만원, Claude 월 3만원 내면 되는데 왜 번거롭게 깔아서 쓰냐고? 나도 처음엔 그렇게 생각했어.

근데 회사 코드를 GPT한테 넣는 순간, 그 코드가 OpenAI 서버 어딘가에 있는 거잖아. 보안팀에서 뭐라 안 해도 찝찝하더라고. 로컬이면 데이터가 내 PC를 절대 안 벗어나니까 이 걱정이 사라져.

돈 얘기도 빼놓을 수 없지. 젬마4는 아파치 2.0 라이선스, 상업적 이용까지 완전 무료야. 매달 나가는 구독료가 0원이 되는 건데, 이게 작은 차이가 아니거든.

여기에 인터넷 없어도 돌아간다. KTX에서, 비행기에서, 카페 와이파이 끊겨도 AI를 쓸 수 있어. 이 세 가지가 합쳐지니까 안 깔 이유가 없더라.

내 PC에서 돌아가긴 하는 거야?

이게 제일 먼저 확인해야 할 건데, 의외로 사양이 높지 않다. 젬마4 E2B 모델은 RAM 8GB면 돌아가거든. 진짜야.

모델별로 정리하면 이렇다.

모델	파라미터	VRAM (4비트)	RAM 최소	추천 GPU
E2B	2.3B	4~5GB	8GB	내장 그래픽도 OK
E4B	4.5B	6~7GB	8GB	RTX 3060 12GB
26B-A4B	26B (활성 3.8B)	10~14GB	24GB	RTX 4070 Ti
31B	31B	20~24GB	32GB	RTX 4090

함정이 하나 있는데, 26B 모델은 MoE 구조라서 토큰당 3.8B만 활성화되지만, 메모리에는 26B 전체를 올려야 해. "활성화가 4B급이니까 가볍겠지?" 이러면 OOM 에러 만난다. 나도 이거 몰랐다가 한 번 당했거든.

내 기준에서 가성비 최고는 E4B야. 요즘 노트북 대부분이 RAM 16GB에 내장 GPU 있으니까, 4비트 양자화 걸면 거의 다 돌아감. 5만원짜리 중고 노트북 아니면 대부분 괜찮아.

Ollama 설치 — 진짜 1분이면 끝남

Ollama가 뭐냐면, 로컬 AI 모델을 Docker처럼 한 줄로 다운받아서 바로 실행하는 도구야. 파이썬 환경 세팅이니 CUDA 버전이니 그런 거 신경 안 써도 돼.

윈도우: ollama.com 가서 Download for Windows 클릭하면 설치 파일 받아진다. 더블클릭하고 Next 몇 번 누르면 끝.

맥:

brew install ollama

리눅스:

curl -fsSL https://ollama.com/install.sh | sh

설치 끝나면 터미널에서 이거 쳐봐.

ollama --version

버전 번호 나오면 성공이야. 안 나오면? 터미널 껐다가, 다시 켜봐. 환경변수 적용이 안 된 거니까. 맥이나 리눅스에서 간혹 이런다.

참고로, Ollama는 설치하면 백그라운드 서비스로 알아서 돌아가. 별도로 서버 띄울 필요도 없고, localhost:11434에서 API도 바로 먹거든.

젬마4 실행 — 터미널 한 줄의 위력

자, 이제 진짜다. 터미널 열고 이거 한 줄만 치면 돼.

ollama run gemma4:e4b

처음 실행하면 모델 다운로드가 시작된다. E4B 기준, 약 5.5GB야. 인터넷 속도에 따라 3분에서 15분 정도 걸리더라.

다운로드가 끝나는 순간, 바로 프롬프트가 뜬다. 한국어로 질문하면 한국어로 답하고, 영어로 물으면 영어로 답해. 140개 언어를 지원하니까 당연한 건데, 실제로 해보면 "이게 내 노트북에서 돌아간다고?" 싶을 만큼 자연스럽거든.

대화 끝내고 싶으면 /bye 치면 되고. 다시 하고 싶으면 같은 명령어 또 치면 되는데, 이번엔 이미 다운받은 상태니까 3초 만에 시작해.

모델별 실행 명령어 정리해놓을게.

ollama run gemma4:e2b    # 가장 가벼움, 스마트폰급에서도 돌아감
ollama run gemma4:e4b    # 추천! 가성비 최강
ollama run gemma4:26b    # MoE, 고급 사용자용
ollama run gemma4:31b    # 최강 품질, 고사양 필수

아 그리고 모델 목록 확인은 ollama list, 실행 중인 모델 확인은 ollama ps로 가능해. 나중에 모델 여러 개 깔아두면 유용하다.

모델 4종 — 뭘 골라야 하나

모델이 4개나 있으니까 뭘 골라야 하나 헷갈릴 텐데, 결론부터 말할게. 대부분한테는 E4B가 정답이야.

E2B는 진짜 가볍다. 라즈베리파이에서도 돌아갈 정도. 근데 솔직히 코딩이나 긴 문서 분석 시키면 답답한 순간이 와. 간단한 질문 답변용? 그 정도면 괜찮고.

E4B, 이 녀석이 진짜 미쳤다. AIME 수학 벤치마크 89%. 코딩 벤치마크 80%. 이 크기에서 이 수치가 나온다는 게 말이 안 되잖아. 일반 노트북에서 돌아가면서 이 정도 성능이면 더 뭘 바라겠어?

숨은 강자는 26B-A4B야. 총 파라미터가 26B인데 실제 토큰 처리할 때 활성화는 3.8B뿐이거든. RTX 4060 Ti 16GB면 Q4 양자화로 쌩쌩 돌릴 수 있고, 맥북 프로 18GB 통합 메모리에서도 돌아가더라. 31B급 품질에 E4B급 속도라니, GPU 여유 있으면 이게 가성비 끝판왕이야.

반면 31B는... 품질 하나는 최고인데 RTX 4090이 필요하다. 솔직히 일반인한테 추천하기엔 좀 그렇지.

결국 현실적인 루트는 이거야. E4B로 시작하고, 아쉬우면 26B-A4B로 갈아타는 거. 처음부터 31B 지르면 후회할 수도 있어.

이것만 알면 삽질 안 한다 — 5가지 함정

설치 자체는 쉬운데, 모르면 반나절 날리는 함정들이 숨어 있어. 전부 내가 밟아봤으니까, 여기서 시간 아끼자.

1. CUDA 13.2 쓰면 안 된다

이게 좀 치명적인데, CUDA 13.2 런타임에서 GGUF 모델 전체가 이상한 출력을 내뱉는 버그가 있어. 답변이 깨지거나 반복되거나 그러거든. CUDA 12.x를 써야 하는데, 엔비디아 드라이버만 최신으로 유지하면 보통 12가 자동으로 들어가니까 크게 걱정할 건 아니야. 근데 혹시 이상하면 nvidia-smi로 CUDA 버전부터 확인해봐.

2. 양자화 선택이 성능을 좌우한다

Q4_K_M이 가성비 최고야. 수학 추론에서 2~5% 정도 성능이 빠지긴 하는데, 일반 대화에서는 체감 차이가 거의 없거든. Q2나 Q3은 눈에 띄게 떨어지니까 비추. VRAM 여유 있으면 Q5_K_M 써봐. Ollama는 기본적으로 Q4 양자화 모델을 내려주니까 따로 설정할 필요 없어서 편하더라.

3. 5분 지나면 모델이 메모리에서 내려간다

모르면 "아까 빨랐는데, 왜 갑자기 느려졌지?" 이러면서 멘붕 온다. Ollama가 기본으로 5분간 요청이 없으면 모델을 메모리에서 언로드해버리거든. 다음 요청 때 다시 올리는데, 그게 10~30초 걸려.

해결법은 간단해. 환경변수 하나만 넣으면 돼.

OLLAMA_KEEP_ALIVE=-1

이러면, 모델이 계속 메모리에 상주한다. 윈도우는 시스템 환경변수에 추가하면 되고, 맥이나 리눅스는 ~/.bashrc에 export OLLAMA_KEEP_ALIVE=-1 한 줄 넣으면 끝.

4. 컨텍스트 창 크기 욕심내지 마라

128K, 256K 지원한다길래 최대로 잡으면? VRAM이 터진다. KV 캐시가 메모리를 어마어마하게 먹거든. 26B-A4B 기준으로 32K에서 18GB면 되는데, 256K 잡으면 23GB까지 올라가. 처음엔 32K로 시작하고, 긴 문서 다룰 때만 올려라.

5. 다른 AI 도구랑 동시에 쓰지 마라

Ollama 띄워놓고 LM Studio도 같이 켜면 VRAM을 서로 뺏어먹는다. 둘 다 느려지거나 OOM 뜨거든. 하나 쓸 때 다른 건 반드시 종료해놓고. TMI인데, 이거 한 번 실험해보겠다고 동시에 켰다가 컴퓨터가 블루스크린 뜬 적 있어... 호기심 비용이 좀 비쌌다.

Ollama 말고 다른 방법은?

꼭 Ollama만 답인 건 아니야. 상황에 따라 나은 선택이 있거든.

터미널이 부담스럽다? 그러면 LM Studio 써봐. GUI가 있어서 모델을 클릭 한 번으로 다운받고, 설정도 슬라이더로 조절해. 다만 메모리를 Ollama보다 더 잡아먹더라고. 편한 만큼 대가가 있는 셈이지.

GPU가 아예 없어서 좌절했다면? llama.cpp가 답이야. C++로 짠 추론 엔진인데, CPU만으로 돌릴 때 이게 최선이거든. 사실 Ollama 내부도 llama.cpp를 쓰고 있어. 직접 빌드하면 더 세밀하게 컨트롤 가능한데, 그만큼 귀찮아진다.

팀 전체가 같이 쓸 AI 서버가 필요하다면? vLLM이 그 영역이야. 혼자 쓸 거면 과한데, 여러 명이 동시에 접속하는 서버 구축할 때 진가를 발휘하지. 홈서버 글에서 다뤘던 N100에서 가벼운 모델 돌리는 것도 재밌는 조합이긴 해.

맥북 사용자라면 MLX도 봐봐. 애플 실리콘에 최적화된 프레임워크인데, M1 이상이면 Ollama보다 빠를 수 있어.

정리하면, 처음이면 Ollama. GUI가 좋으면 LM Studio. GPU가 없다면 llama.cpp. 팀 서버 용도면 vLLM. 갈림길이 네 개인데, 대부분은 Ollama에서 시작하면 된다.

마무리

복잡할 줄 알았는데 Ollama 덕분에 터미널 한 줄이면 끝나더라. 허무할 정도야.

다만 함정들, CUDA 버전이나 모델 언로드, 컨텍스트 폭발 같은 거 모르면 짜증나는 삽질 루프에 빠진다. 이 글 북마크해두고, 막힐 때마다 꺼내 봐.

한 가지 확실한 건. 무료로 이 수준의 AI를 내 PC에서 돌릴 수 있는 시대가 진짜 왔다는 거. 1년 전엔 꿈도 못 꿨잖아. 깔고 나면 "아 이걸 왜 이제서야?" 하게 될 거다. 장담함.

이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.

'베스트셀러' 쿠팡에서 최저가 확인하기