양자화 Q4 Q5 Q8 무슨 뜻 — 로컬 LLM 받을 때 뭘 골라야 하나 (GGUF·VRAM별 추천표)

안녕하세요!

이번 글은 로컬 LLM 받을 때 보이는 양자화 꼬리표 — Q4_K_M, Q5_K_M, Q8_0이 무슨 뜻인지, 내 PC에선 뭘 골라야 하는지를 한 번에 정리합니다.

Ollama나 LM Studio에서 모델 받으려는데, 같은 모델인데 Q4_K_M, Q5_K_S, Q8_0, IQ4_XS… 외계어 꼬리표가 수십 개라 “대체 뭘 눌러야 하지” 하고 멈칫하셨던 분께 딱 맞는 글이에요. 솔직히 저도 처음엔, 그냥 제일 큰 거 받으면 좋은 줄 알고 Q8 받았다가 N100이 버벅대서 한참 헤맸거든. 이 꼬리표가 결국 “내 컴퓨터에서 돌아가냐 마냐”를 가르는 거라, 알고 받으면 시간이 진짜 아껴져요. N100 16GB로 Q4랑 Q5 직접 받아서, 속도까지 재봤네.

목차

📚 관련 글: 나이키 주가 14% 급락, 중국에서 대체 무슨 일이 벌어진 걸까

💡 관련 상품 보기 (쿠팡 파트너스)

1. 양자화 꼬리표 — 모델 받으려다 외계어에 막힌 순간
2. 양자화란 — 16비트를 4비트로 줄이는 압축
3. Q4_K_M 이름 뜯어보기 — 숫자·K·M의 정체
4. 양자화별 크기와 품질 — 7B 기준 한눈에
5. 그래서 뭘 받아야 — Q4_K_M이 정답인 이유
6. 내 PC로 계산하기 — 모델 크기 + KV 캐시
7. VRAM 용량별 추천표 — 4GB부터 24GB까지
8. GPU 없이 CPU로 — N100 실측 속도
9. 결론 — 한 줄로 정리

1. 양자화 꼬리표 — 모델 받으려다 외계어에 막힌 순간

로컬 AI 처음 깔 때, 다들 한 번씩 이 벽을 만나요. Hugging Face나 Ollama에서 모델 하나 받으려고 들어갔더니, 같은 7B 모델인데 파일이 열 개도 넘게 떠 있거든. Q2_K, Q3_K_M, Q4_K_M, Q5_K_S, Q6_K, Q8_0, 거기에 IQ4_XS까지. 이게 뭐가 다른 거지 싶죠.

이 꼬리표는, 한마디로 “모델을 얼마나 압축했나”를 나타내는 표시예요. 압축을 세게 할수록 파일이 작고 빠르지만, 품질이 살짝 깎이거든. 반대로 덜 압축하면 똑똑하지만, 무겁고 느려요. 그러니까 이건 그냥 장식이 아니라, 내 PC 사양에 맞는 걸 골라야 하는 실전 선택지인 거죠.

저는 이걸 모르고, 처음에 무조건 Q8_0(제일 큰 거)부터 받았어요. 결과는? N100에서 모델 로딩만 몇 분 걸리고, 답변은 한 글자씩 토해내는 수준이라 진짜 답답했거든. 알고 보니 제 환경엔 Q4_K_M이 딱이었던 거예요. 그 삽질을, 이 글 보시는 분은 안 하셨으면 해서 정리합니다.

꼬리표	대략 비트수	한 줄 느낌
Q8_0	8.5	거의 원본, 무겁다
Q6_K	6.56	고품질, 여유 있을 때
Q5_K_M	5.70	품질 우선, 코딩용
Q4_K_M	4.89	가성비 표준, 대부분 정답
Q3_K_M	3.64	빠듯할 때, 품질 깎임
Q2_K	2.97	최후의 수단, 손실 큼

핵심: 양자화 꼬리표는 압축 강도예요. 셀수록 작고 빠르지만, 품질이 깎이거든.

2. 양자화란 — 16비트를 4비트로 줄이는 압축

양자화(Quantization)를 쉽게 풀면, 모델의 숫자 정밀도를 낮추는 거예요. 원래 AI 모델은 가중치 하나하나를 16비트(FP16)라는 정밀한 숫자로 들고 있거든. 근데 이걸 4비트로 확 줄이면, 용량이 약 4분의 1로 작아져요.

2-1. 사진 JPG 압축이랑 똑같다

비유하면 사진 JPG 압축이랑 판박이예요. 원본 RAW 사진은 용량이 어마어마하지만, JPG로 적당히 압축하면 눈으로 보기엔 거의 똑같으면서 용량은 확 줄잖아요. 양자화도 마찬가지거든. 4비트로 줄여도, 모델은 대부분의 작업에서 멀쩡하게 답을 내요. 너무 세게 압축한 2비트쯤 가면, 그제야 사진 깨지듯 답변이 어설퍼지고요.

2-2. 왜 굳이 압축하나

이유는 단순해요. 원본 그대로면, 개인 PC에선 못 돌리거든. 7B 모델이 FP16 원본은 약 14GB인데, 이걸 다 GPU에 올리려면 16GB짜리 그래픽카드도 빠듯해요. 근데 Q4_K_M으로 줄이면 4.6GB라, 8GB 그래픽카드에도 쏙 들어가죠. 압축 덕분에 “일반 PC에서 로컬 AI”가 가능해진 거예요.

핵심: 양자화는 16비트를 4비트로 줄이는 압축이에요. JPG처럼, 눈에 안 띄게 용량만 확 줄여주거든.

3. Q4_K_M 이름 뜯어보기 — 숫자·K·M의 정체

제일 헷갈리는 이름 Q4_K_M, 이거 세 토막으로 끊으면 바로 읽혀요. 하나씩 볼게요.

조각	뜻	설명
Q4	4비트 양자화	숫자가 비트수. 작을수록 더 압축
K	K-퀀트 방식	중요한 층은 정밀하게, 덜 중요한 층은 세게 압축
M	Medium 크기	S(작게)/M(중간)/L(크게) 중 균형

여기서 K가 진짜 똑똑한 부분이에요. 옛날 방식(Q4_0 같은 _0, _1 꼬리표)은 모든 층을 똑같이 막 눌렀거든. 반면 K-퀀트는, 모델에서 중요한 부분은 비트를 더 주고 덜 중요한 부분만 세게 줄여요. 그래서 같은 4비트라도, K가 붙은 게 옛날 방식보다 품질이 눈에 띄게 좋죠. 요즘은 거의 다 K-퀀트 쓰니까, _0/_1 붙은 옛날 파일은 굳이 안 받으셔도 돼요.

아 맞다, 요즘은 IQ4_XS 같은 I-퀀트도 보여요. 이건 더 신형 압축이라, 같은 크기에서 살짝 더 똑똑하거든. 다만 모델이 1~2GB 모자랄 때 끼워 맞추는 용도라, 평소엔 그냥 Q4_K_M이면 충분해요.

핵심: Q4_K_M은 “4비트, K-퀀트, 중간 크기”예요. K 덕분에 옛날 방식보다 똑똑하거든.

4. 양자화별 크기와 품질 — 7B 기준 한눈에

말로만 하면 감이 안 오니까, 제일 흔한 7B 모델 기준으로 크기랑 품질을 표로 박아둘게요. 받기 전에 이 표만 보면 돼요.

양자화	7B 파일 크기	품질 손실	추천 상황
FP16 (원본)	약 14 GB	없음	고사양 GPU 전용
Q8_0	약 8 GB	거의 없음	품질 1순위, 여유 충분
Q6_K	약 6.1 GB	1~3%	고품질 원할 때
Q5_K_M	약 5.3 GB	3~6%	코딩·수학용 추천
Q4_K_M	약 4.6 GB	5~8%	대부분의 정답
Q3_K_M	약 3.4 GB	10~15%	용량 빠듯할 때만
Q2_K	약 2.8 GB	심각	비상용, 비추천

표에서 보시면, FP16 원본 14GB가 Q4_K_M에선 4.6GB로 3분의 1 토막이 나요. 근데 품질 손실은 5~8%라, 일반 대화나 요약에선 거의 못 느끼거든. 깔끔하죠. 반대로 Q3 밑으로 내려가면 손실이 10%를 넘으면서, 답변이 슬슬 헛소리를 섞기 시작해요. 그 경계가 대략 Q4랑 Q3 사이라고 보시면 돼요.

핵심: Q4_K_M은 원본의 3분의 1 크기에 품질 손실 5~8%예요. Q3 밑으론 손실이 확 커지거든.

5. 그래서 뭘 받아야 — Q4_K_M이 정답인 이유

고민 길게 할 거 없어요. 결론부터 박으면, 모르겠으면 Q4_K_M 받으세요. 괜히 Ollama가 기본값을 Q4_K_M으로 잡아둔 게 아니거든.

5-1. 가성비의 스위트 스팟

Q4_K_M이 사랑받는 이유는, 크기랑 품질의 균형점이라서예요. 원본 대비 용량은 70% 넘게 줄었는데, 품질 손실은 체감하기 어려운 수준이거든. 일반 대화, 글 요약, 번역, 간단한 코딩까진 Q8이랑 나란히 놔도 차이를 거의 못 느껴요. 가성비로 치면 이만한 게 없죠.

5-2. Q5 이상이 필요한 경우

딱 두 경우만 Q5_K_M 이상을 권해요. 첫째는 코딩이나 수학처럼, 한 글자만 틀려도 답이 깨지는 정밀한 작업이고요. 둘째는 GPU 메모리가 넉넉해서, 어차피 자리가 남을 때예요. 그 외엔 Q5 받아봐야 용량만 더 먹고, 체감 이득은 적어서 좀 아쉬워요. 본인은 코딩 보조엔 Q5_K_M, 잡담·요약엔 Q4_K_M 이렇게 나눠 씁니다.

핵심: 모르겠으면 Q4_K_M이 정답이에요. 코딩·수학만 Q5_K_M으로 올리면 충분하거든.

관련 글

→ 나이키 주가 14% 급락, 중국에서 대체 무슨 일이 벌어진 걸까

→ EU 계정 뚫리고 데이터센터 폭격까지, AWS에 무슨 일이 벌어지고 있나

6. 내 PC로 계산하기 — 모델 크기 + KV 캐시

그럼 “내 그래픽카드 8GB인데 뭘 받지?”를 어떻게 계산할까요? 공식이 의외로 간단해요. 모델만 보면 안 되고, 숨은 항목 하나를 더해야 하거든.

필요 메모리 = 모델 파일 크기 + KV 캐시 + 여유(1~2GB)

예) 7B Q4_K_M(4.6GB) + 8K 컨텍스트 KV(0.8GB) + 여유 1GB
   = 약 6.4GB → 8GB 그래픽카드에 OK

여기서 KV 캐시라는 게 함정이에요. 이건 모델이 대화 내용을 기억하려고 쓰는 작업 공간인데, 대화(컨텍스트)가 길어질수록 같이 커지거든. 4K 정도면 0.4GB쯤이라 귀엽지만, 32K로 길게 잡으면 3GB 넘게 잡아먹어요. 그래서 “모델 파일은 들어가는데 왜 터지지?” 하는 분들, 십중팔구 이 KV 캐시를 빼먹은 거예요.

GPU 없이 CPU로 돌릴 땐, VRAM 자리에 그냥 시스템 RAM을 넣고 똑같이 계산하면 돼요. 16GB RAM이면 7B Q4_K_M 정도가 적당하죠.

핵심: 필요 메모리는 모델 크기에 KV 캐시랑 여유까지 더해야 해요. 컨텍스트 길면 KV가 확 커지거든.

7. VRAM 용량별 추천표 — 4GB부터 24GB까지

계산이 귀찮으시면, 이 표만 보고 받으셔도 돼요. 2026년 기준, 그래픽카드 메모리별로 무난한 조합을 정리했어요.

VRAM	추천 조합	비고
4GB	3~4B Q4_K_M	저사양 노트북 GPU
6GB	7B Q4_K_M (컨텍스트 짧게)	GTX 1060급
8GB	7~8B Q4_K_M	가성비 표준 (RTX 3050~4060)
12GB	13~14B Q4_K_M / 7B Q5_K_M	RTX 3060 12GB
16GB	14B Q5_K_M / 22B Q4_K_M 빠듯	RTX 4060 Ti 16GB
24GB	32~34B Q4_K_M	RTX 3090·4090

표를 보면 알겠지만, 8GB가 가성비 황금 구간이에요. 요즘 잘 나오는 8B 모델을 Q4_K_M으로 쾌적하게 돌릴 수 있거든. 참고로 70B 같은 초대형 모델은 24GB로도 빠듯해서, Q2_K까지 눌러야 겨우 올라가요. 근데 그렇게까지 압축하면 품질이 아쉬워지니, 초대형은 그냥 클라우드 쓰는 게 속 편하죠.

핵심: 8GB면 7~8B Q4_K_M이 황금 조합이에요. 초대형 모델은 압축 심해서 별로 안 권하거든.

8. GPU 없이 CPU로 — N100 실측 속도

이 섹션은 그래픽카드 없이, CPU만으로 돌리려는 분께 유용해요. 제 N100 16GB로 직접 재본 데이터를 풀게요.

8-1. N100 양자화별 속도 실측

측정 환경: N100 + 16GB RAM, GPU 없음 (CPU 추론)

모델·양자화        파일 크기   속도(tok/s)   체감
------------------------------------------------------
3B Q4_K_M          약 2.0 GB    8~12        쓸 만함
7B Q4_K_M          약 4.6 GB    3~5         느리지만 가능
7B Q5_K_M          약 5.3 GB    2~4         더 느림
7B Q8_0            약 8.0 GB    1~2         답답함
13B Q4_K_M         약 8.0 GB    1 미만      비실용

표에서 보면, 같은 7B여도 Q4_K_M(3~5 tok/s)이 Q8_0(1~2 tok/s)보다 두세 배 빨라요. 그래서 CPU로 돌릴 땐 무조건 Q4_K_M이 정답이거든. 욕심내서 Q8 받으면, 답변 한 줄 나오는 데 한참이라 진짜 답답해져요. 3B 모델은 8~12 tok/s까지 나와서 의외로 쾌적하고요.

8-2. CPU가 느린 진짜 이유

왜 CPU는 이렇게 느릴까요? 범인은 메모리 대역폭이에요. GPU는 메모리에서 초당 300~600GB를 퍼올리는데, 일반 PC RAM은 25~50GB밖에 못 퍼오거든. AI 추론은 이 “퍼오는 속도”에 발목 잡히는 작업이라, 대역폭이 10배 차이 나면 속도도 그만큼 벌어지는 거예요. CPU 코어가 빨라도 소용없죠. 그래서 진지하게 로컬 AI 할 거면, 결국 그래픽카드가 답이에요.

핵심: CPU 추론은 Q4_K_M이 필수예요. 느린 건 메모리 대역폭 한계라, 그래픽카드가 있어야 빨라지거든.

9. 결론 — 한 줄로 정리

여기까지 오셨으면, 이제 양자화 꼬리표가 안 무섭죠? 한 줄로 정리하면 이래요. 모르겠으면 Q4_K_M 받으세요. 코딩·수학만 Q5_K_M, GPU 빠듯하면 Q3_K_M, 그리고 필요 메모리는 모델 크기에 KV 캐시까지 더해서 계산하면 됩니다.

저처럼 무작정 제일 큰 Q8부터 받아서 컴퓨터 붙잡고 끙끙대지 마시고요. 내 사양에 맞는 걸 고르면, 로컬 AI가 생각보다 훨씬 쾌적해요. 그게 N100으로 1년 굴리며 얻은 결론이네.

9-1. 그냥 제일 큰 Q8_0 받으면 제일 좋은 거 아닌가요?

품질은 제일 좋지만, 대부분은 손해예요. Q8은 용량도 크고 느린데, Q4_K_M과 체감 차이는 작거든. GPU 메모리가 남아돌 때만 의미 있어요. 평소엔 Q4_K_M이 훨씬 가성비 좋죠.

9-2. Ollama는 그냥 받으면 뭐가 받아지나요?

Ollama는 기본값이 Q4_K_M이에요. ollama run 명령어로 그냥 받으면 자동으로 Q4_K_M이 깔리거든. 다른 양자화를 원하면 모델 이름 뒤에 태그를 따로 붙이면 되고요. 그래서 초보자는 기본값 그대로 써도 충분해요.

9-3. IQ4_XS 같은 I-퀀트는 받아도 되나요?

받아도 되지만, 급할 때만요. I-퀀트는 같은 크기에서 살짝 더 똑똑한데, 모델이 1~2GB 모자라서 끼워 넣어야 할 때 유용하거든. 자리가 넉넉하면 그냥 Q4_K_M이 무난해요.

9-4. 양자화 고르는 3초 가이드

1. 일반 대화·요약·번역 → Q4_K_M
2. 코딩·수학 정밀 작업 → Q5_K_M
3. GPU/RAM 빠듯 → Q3_K_M (품질 감수)
4. CPU만으로 돌림 → 무조건 Q4_K_M 이하
5. 모델이 1~2GB 초과 → IQ4_XS로 끼워맞춤

다음 글에선 Ollama로 받은 모델이 C드라이브를 꽉 채울 때, 저장 위치를 D드라이브로 옮기는 법을 풀어볼 예정이에요. 로컬 AI 시리즈 더 궁금한 거 있으면 댓글 주세요!

이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.

'베스트셀러' 쿠팡에서 최저가 확인하기