蒸馏是什么

2026-09-25 · 彬城AI AI科普系列

假如巴菲特教你炒股，马斯克带你创业，乔布斯教你做产品设计，你可能会觉得这是天方夜谭。但是现在在AI时代，这是有可能实现的。怎么实现的？那就是用蒸馏。

好，今天这期我们讲清楚五个事：第一，蒸馏是什么；第二，蒸馏为什么会出现；第三，蒸馏的过程和相应的方法；第四，蒸馏的意义；第五，我们举一个例子，教大家怎么去蒸馏某个人。

第一，蒸馏是什么？

我们可以理解成，有一个大模型当老师，小模型当学生，用调整小模型参数的方法，让小模型可以用更小的参数量，学会大模型的能力。这就是蒸馏的概念。

那我们这里说的大和小，指的是参数量的大小。比如说小模型，市面上有1.5B、7B（1B代表10亿参数），甚至32B的都有。那么大模型它有成百上千亿，比如说DeepSeek-V4，它有1.6万亿参数；GPT-5，它有1.8万亿参数；最新的Kimi-K3，它有2.8万亿参数。据估算，本地部署Kimi-K3，需要700-1000万元不等。

第二，蒸馏为什么会出现？

大模型虽然很强，但是它的参数量极高，所消耗的算力也非常的大，本地部署的成本更是非常高。所以想要用大模型的话，只能购买云端服务，也就是买他们的API。但是在有些业务场景，比如说数据涉密、不能上网的一些企业或者政府，他们只能本地部署了。

这就是蒸馏出现的原因。只需要本地部署一些蒸馏出来的小模型，用极低的成本，一样可以达到接近大模型的能力。

第三，蒸馏的过程和相应的方法。

好，我们讲蒸馏的过程。拿一个固定的数据集，分别喂给大模型和小模型，由大模型给出答案，那么不停地调整小模型的参数，使得小模型给出的答案和大模型基本一致。那么整个过程我们就把它叫做蒸馏。

那么具体蒸馏有哪些方法呢？主要有三种：第一种输出蒸馏，第二种特征蒸馏，第三种关系蒸馏。

在此之前，我想科普一个非常简单的概念，就是大模型它分为三个层次：第一个叫输入层，第二个叫中间层，第三个叫输出层。好，了解这个概念，我们再来看这个方法。

第一种，输出蒸馏。

首先看第一个方法，叫输出蒸馏。它是以输出层为目标导向的。简单说，就是拿大模型给出的输出层的答案，给小模型作为参考。这是最基础最简单的一个方法，让大模型生成大量的答案，直接喂给小模型。

那么输出蒸馏，它的答案可以分为硬标签和软标签。硬标签可以把它当做是选择题，老师直接给你一个A的答案。那么软标签，老师会给你ABC四个选项，然后分别给出它们是答案的概率。比如说给出A的概率是60%，第二是20%，第三个是10%。所以软标签它给出的答案就是一个概率分布，而不是具体的某一个值。

输出蒸馏的方法成本最低，但问题也有，那就是小模型它只学到了最终的答案，他没有学到中间的思考过程，碰到复杂的新问题，它还是不会。

第二种，特征蒸馏。

所以就到了我们第二个叫特征蒸馏。特征蒸馏它是以中间层为目标导向去调整自己的参数。

我们也举个例子，比如说有一个一元二次方程x²-2x-3=0，那么我们解这个一元二次方程需要移项、开平方，最终才能得到答案x=3。那么这个方法，大模型它就给了像移项、开平方这个中间步骤，也就是所谓的思维链。

那么用特征蒸馏这个方法，小模型学到的就不只是答案，还有中间的思考过程。用这种方法在小模型面对一些数学题，还有需要逻辑性非常强的代码生成这方面的任务，小模型可以做得很好。但是代价也很高，需要大模型给它海量的数据还有推导过程，所以这个花费也是非常巨大的。

第三种，关系蒸馏。

那么第三个叫关系蒸馏。前两个方法都是为单个的问题，而关系蒸馏它是批量问题这种方法。那么这种方法是以关系网为目标导向的，将批量的问题输入给大模型，让大模型生成一个关系网，然后也将同样的问题输入给小模型，通过不断调整参数的方式，让小模型的关系网达到大模型生成的关系网。那么这个方法就是关系蒸馏。

好处就是让小模型有泛化能力。什么叫泛化？泛化就是让小模型遇到一个陌生的问题，也能根据关系网做出延伸判断，提高对陌生问题的回答准确性。如果说把前面两种方法比作一种确定性的东西，那么第三种就是让大模型它去预测一些未知的东西。

第四，蒸馏的意义。

蒸馏的意义是什么呢？在去年一月，DeepSeek发布了R1模型。DeepSeek使用R1模型作为老师大模型，蒸馏出了6款小模型。那么在数学基准测试上面，他们得分准确率高达83.9%，500道数学题目他们做对了约420道，超过了同时参加比赛的GPT-4o和Claude 3.5。要知道这两个大模型，他们的参数规模可是在2000亿，而R1蒸馏出来的小模型，他们的参数量仅有15亿，而他们是2000亿。

这意味着蒸馏能够打破算力垄断。以前只有大公司才能玩得起AI，现在小团队、个人也可以本地部署一些AI模型，而且能力跟那些参数量比较大的模型能力是相当的。

不只是在大模型方面，现在蒸馏还有一层含义，就是把某一个人蒸馏成一个技能。比如说把你喜欢的博主，甚至是你公司的老板，把他们的说话风格可以蒸馏成一个技能。

第五，举一个例子：怎么蒸馏某个人。

我就拿我自己举例。

第一步，先要收集素材。 把我以前所有短视频的口播文案全部都收集好，你可以把它做成Word模式，或者是Markdown模式。

第二步，写提示词。 在这里，我们可以用任意一个AI编程智能体。你跟他说：我收集的所有历史文案都在这个文件夹，我需要你帮我沉淀他的风格，并蒸馏出这个人的Skill，要求你包含这个人的说话风格、文章喜好。然后他就会给你提供一个Skill。

第三步，测试和迭代。 拿一个主题去测试他，你就跟他说以"大模型是什么"为主题出一期口播文案。你去检查他的这个文稿风格和实际的文稿风格是不是一致。如果是一致就代表蒸馏成功，如果不一致就还需要调整。

好了，总结一下。蒸馏的概念就是让大模型当老师，小模型当学生，通过调整参数的方法，让小模型具备和大模型类似接近的能力。然后蒸馏的方法有三种，分别为输出蒸馏、特征蒸馏，还有关系蒸馏。

本文整理自彬城AI《AI科普》系列科普视频，文字略有整理。更多内容见行业洞察。彬城AI（彬城工程咨询（南昌）有限公司）提供人工智能体开发、信息化系统建设与AI实战培训服务，业务交流请致电 182 7919 8383。