一个 30 GB 的模型如何装进我的笔记本电脑？

大型 AI 模型如何装进笔记本电脑？5 分钟讲量化

一个 30 GB 的模型如何装进我的笔记本电脑？

量化（每权重比特数） · 构建者 · 5 分钟 · llm、transformer · 继 [训练：损失与梯度下降](/explain/training/) 之后

量化用更少的比特存储每个模型权重，例如用 4 比特而不是 16 比特，因此文件和内存会缩小约四倍。质量降到 4 比特时几乎不变，再往下就会崩溃；此外上下文还需要内存。

开始前：你能向朋友解释这个吗？1 2 3 4 5

1 = 完全不能 · 5 = 很容易

1 先猜一猜

Gemma 3 27B 全精度为 55 GB。Ollama 还提供 17 GB 版本。发生了什么变化？A 模型大部分被删除了

B 每个权重用更少比特存储
C 它像普通文件一样被压缩了
2 观察

同一个模型，更少比特

1 / 4

Gemma 3 27B：一个模型，三种下载

16 比特 55 GB

8 比特 30 GB

4 比特 17 GB

下载大小：ollama.com/library/gemma3/tags（核查于 2026-10-21）

一个模型，三种下载：55 GB、30 GB、17 GB。相同的权重，以更少比特存储。

文件大小 = 权重 × 比特数：16 → 4 比特会让模型缩小约四倍；4 比特会损失几个点，3 比特会崩溃，而上下文还需要额外内存。

一个权重是一个学到的数字，通常用 16 比特存储。量化把每个权重舍入到更少比特：8 比特几乎无损，4 比特会有一点损失。舍入在你下载之前只做一次。Ollama 上类似 q8_0 或 q4_K_M 的标签表示方案；fp16 是未舍入的文件。
4 你就是模型

你来选择下载。对每台笔记本电脑，选择仍留有余量的最强 Gemma 3 文件：先看更多参数，再看更多比特。

笔记本电脑 1/3 · 保持下载文件低于内存的 75%

一台 8 GB 内存的笔记本电脑

gemma3:12b 8.2 GB gemma3:4b-it-q8_0 5 GB gemma3:4b-it-fp16 8.6 GB gemma3:1b-it-fp16 2 GB

大小：ollama.com/library/gemma3/tags（核查于 2026-10-21） · 75% 规则是说明性经验法则

选择仍能装下的最强下载：先看更多参数，再看更多比特。

我完成了——给我看模型

5 检查

4 比特文件大约比 16 比特文件小多少？A 约四倍

B 约两倍
C 十六倍
6 复述

向朋友解释一个 30 GB 的模型如何能在笔记本电脑上运行。比较

7 任务 · 5 分钟

安装 Ollama（免费），然后运行：ollama pull gemma3:270m 和 ollama pull gemma3:270m-it-fp16（292 MB 和 543 MB）。用 ollama ls 比较它们的大小，用 ollama run 向两者问同一个问题，并用 ollama ps 检查内存。然后试试你在角色环节中为笔记本电脑选出的最佳匹配。

[免费在本地运行 AI](/learn/run-ai-locally-free/) 完成

三道快问

从本课题库中随机抽取；下次会不同。

完成？

现在：你能向朋友解释这个吗？1 2 3 4 5

1 = 完全不能 · 5 = 很容易

标记完成先回答三道快问。

来源

https://ollama.com/library/gemma3/tags（核查于 2026-10-21）：27b-it-fp16 55GB，27b-it-q8_0 30GB，27b q4_K_M 17GB；12b 24/13/8.2GB；4b 8.6/5.0/3.4GB；1b 2.0/1.1GB；270m（q8_0）292MB，270m-it-fp16 543MB
https://developers.googleblog.com/en/gemma-3-quantized-aware-trained-state-of-the-art-ai-to-consumer-gpus/（2025-04-18，核查于 2026-10-21）：仅权重内存 BF16 → int4：27B 54 → 14.1 GB，12B 24 → 6.6，4B 8 → 2.6，1B 2 → 0.5；“运行模型还需要为 KV 缓存额外分配显存”
https://arxiv.org/abs/2505.02214（Zheng 等，2025-05-04；核查于 2026-10-21）：表 4，Qwen3-8B MMLU，每组（128）PTQ：FP16 74.7；AWQ 8 比特 74.5，4 比特 69.3，3 比特 33.2，2 比特 25.3；GPTQ 4 比特 73.4
https://docs.ollama.com/cli（核查于 2026-10-21）：ollama pull、ollama ls、ollama run、ollama ps
角色环节中的 75% 适配规则以及图中权重/缓存拆分仅作说明，并已如此标注

一个 30 GB 的模型如何装进我的笔记本电脑？