你的显卡，
跑得动哪个 大模型

量化是把模型权重从原始的高精度（FP16，每个参数 16 比特）压缩到更低精度的技术——数字越小，模型文件越小、占显存越少，但回答质量会有细微损失。Q4_K_M 是日常使用的「甜点位」：体积约为原始的 30%，盲测几乎无法分辨；要当「真值」基准（评测、仲裁）时用 Q8_0，它接近无损。名称里的 K 表示混合精度分块方案，M/S 代表该方案下的材料档位。

模型回答你的每一句话，都要把之前说过的内容记在显存里才能接着聊——这部分叫 KV 缓存。它的特点是越聊越大：上下文设到 13 万 token 时，光聊天记录就可能占好几个 GB，比小模型本体还大。所以显存要算两笔账：模型本体一笔、聊天记录一笔；只看模型文件大小就下单显卡，很容易一开长对话就爆。

本页的量化档位数值来自本地模型文件实测（误差通常在 ±5% 内），显存构成与速度为公开通行公式加带宽屋顶线模型。实际占用还受推理框架、驱动版本、上下文实际使用量等影响，速度受散热与功耗墙影响。建议给估算结果留 10% 余量；结果区标注了每项数据的口径与来源。

多卡运行时模型被切成两半分给两张卡，每生成一个字都要在卡间来回搬运数据——这个搬运开销让速度打折（本页按约 0.9 系数估算）。多卡的真正价值是显存容量翻倍：装得下更大的模型、更长的上下文。而「装得下」的场景里拆卡反而可能比单卡慢一点，这是正常物理现象，不是故障。

三个办法，按代价从小到大：①换低一档量化（如 Q4_K_M）——日常使用几乎无损；②缩短上下文长度或减小批量——KV 缓存随之变小；③打开「卸载到 CPU 内存」——超出显存的部分放进内存，能跑但速度会明显下降（内存带宽远低于显存）。结果区会在不足时给出「换低档量化后可运行」的具体建议。

模型算题时的「草稿纸」：推理过程中间结果、框架缓冲等临时占用。它随模型变大而变大，本页按「至少 1.2GB、约为权重的 6%」的经验公式估算。加上显卡驱动本身要占用一部分显存（可在高级配置里调整预留值），这就是为什么「刚好装得下」往往实际不够用。