昨天我正看文章看得入神，领导突然过来，满眼金光地跟我说：“公司想本地化部署Deepseek-R1大模型，满血的是671B，如果我们部署个70B的，你看需要什么配置？”

“您消息还挺灵通的啊，DeepSeek-R1确实厉害，号称性能媲美OpenAI的o1模型。但70B有蒸馏版，也有量化，具体要哪一款呢？”知道我们领导是个杠精，所以得唬唬他。

“什么，还有这么多版本？具体怎么区分呢，我们又该怎么选啊？”领导一脸懵了。

确实，DeepSeek火了之后，各行各业都在赶着这波热潮本地化部署大模型，但是这么多版本到底怎么区分呢，今天就跟大家一起捋一捋。

版本大扫盲

首先，DeepSeek-R1官方的满血版是671B，这个大家最熟悉了，671B指的是这个模型有6710个参数（Billion）。

而为了让DeepSeek能够在不同的应用场景中灵活部署，满足多样化的需求，官方又推出了不同参数规模的蒸馏版。

这些模型名称后面有带“Distill”字眼的都是蒸馏模型。

图片

那么什么是蒸馏模型呢？我们来举个例子。

假如你有一个非常聪明的老师，他知道很多知识，但他讲课的方式可能有点复杂，小学生不容易听懂。于是，这位老师把他的知识教给了一位年轻的老师，这位年轻老师虽然知识没有那么渊博，但他讲课的方式更简单，适合小学生理解。

在人工智能领域，模型蒸馏就像是这个过程：一个大型、复杂的模型（“老师”）把它的知识传授给一个较小、简单的模型（“学生”），这样我们就可以在计算资源有限的设备上使用这个较小的模型，同时仍然获得不错的性能。

比如拥有671B参数的满血版可以蒸馏为70B、32B、14B、8B、7B以及1.5B等多个不同参数等版本，这些数字代表的每个模型拥有多少B的参数。

而我们之前在本地化部署中谈到的Ollama平台，它提供的DeepSeek-R1 671B就是满血量化版本。其他版本就是蒸馏量化版。

虾米？又来个概念，什么是模型量化？稍安勿躁，我们来再举个例子。

想象一下，你有一盒彩色铅笔，每支铅笔代表一个颜色。如果你有 256 支不同颜色的铅笔，你可以画出非常精细、色彩丰富的画作。但如果你只能带 16 支铅笔出门，你就需要选择一些常用的颜色，虽然颜色种类减少了，但你仍然可以画出不错的画。模型量化就像是减少铅笔数量，用更少的颜色来画画。在计算机中，模型量化是将模型中的数字从高精度（比如 32 位）转换为低精度（比如 8 位），以减少计算和存储需求。

所以，大家可以看到Ollama官网下的DeepSeek-R1各个版本都是量化完后，在模型参数不变的情况下，模型大小减少了很多。量化可以让大型模型在更多设备上运行，特别是那些计算能力有限的设备，如普通电脑或手机。这意味着更多的人可以使用这些强大的 AI 模型，而不需要昂贵的硬件设备。

图片

Ollama 之所以能够量化和运行 DeepSeek-R1 的蒸馏版模型，主要得益于其对模型量化技术的支持，以及对多种模型格式的兼容性。具体而言，Ollama 使用了 GGUF 格式的量化技术，将模型参数从高精度（如 FP16）压缩到更低精度（如 4-bit 或 5-bit），从而大幅减少模型的显存占用。

在实际操作中，我们可以在安装完 Ollama 后，通过命令行工具下载并运行量化后的 DeepSeek-R1 模型。例如，使用以下命令拉取并运行 7B 参数的 DeepSeek-R1 模型：

ollama run deepseek-r1:7b总结

好啦，我们简单总结下吧。

满血版：这是 DeepSeek-R1 的原始高性能模型，拥有 6710 亿参数，具备强大的推理能力，适用于需要强大计算能力的场景，如企业级复杂推理任务（金融风控、基因分析等）。蒸馏版：通过知识蒸馏技术，将大型模型的知识迁移到较小规模的模型中，以保持性能的同时减少计算资源的需求。蒸馏版提供从 1.5B 到 70B 等多种规模的模型，适合资源有限的场景，如中小企业本地部署（客服系统、教育辅导等）。量化版：通过量化技术（如 FP8/INT8），在保持模型性能的前提下，进一步压缩模型大小，降低显存占用，提高推理速度。量化版适合移动端或嵌入式设备等对资源要求更高的场景。

这下子，大家也可以轻松区分DeepSeek-R1的各大版本了吧。

下一篇，我将接着介绍不同版本之间具体差异，以及我们该如何选择，服务于不同的应用场景，精彩不容错过！

Tips 本站仅提供存储服务，所有内容均由用户发布，如发现有害或侵权内容，请点击举报。