4 月 14 日，谷歌首席科学家 Jeff Dean 在苏黎世联邦理工学院举办的信息学研讨会上发表了一场演讲，主题为「AI 的重要趋势：我们是如何走到今天的，我们现在能做什么，以及我们如何塑造 AI 的未来？」 ...

在人工智能快速发展的当下，技术创新成为推动行业进步的主要动力之一。近日，山东浪潮科学研究院有限公司（以下简称“浪潮研究院”）的一项新专利，引起了业界的广泛关注。根据金融界2025年4月21日的报道，国家知识产权局的信息显示，该院在2025年1月申请了一项名为“8963.一种基于知识蒸馏的文本分类方法、装置、设备及介质”的专利，公开号为CN119848256A。这项基于知识蒸馏的文本分类方法展示了该 ...

在成果方面，我第一篇论文就是我的代表作，题为《自蒸馏》（Self-Distillation）。由于研究时间较早且具有一定的创新性，加上名字有趣，所以受到 ...

Geoffrey Hinton、Oriol Vinyals 和 Jeff Dean 最早开发出了这种名为蒸馏（Distillation）的技术，可用来蒸馏神经网络中的知识。这种方法能够将更好的大模型中 ...

2. 模型蒸馏的过程及侵权风险 i. 模型蒸馏的过程 “大模型蒸馏”（knowledge distillation）是人工智能模型优化的一种技术方法，其核心在于将大型AI ...

据DeepSeek-V3的技术文档，该模型使用数据蒸馏技术（Distillation）生成的高质量数据提升了训练效率。数据蒸馏指的是通过一系列算法和策略，将原始 ...

在研究过程中，研究人员采用了多种关键技术方法。首先是模型压缩技术，包括量化（Quantization）和知识蒸馏（Knowledge Distillation，KD）。量化通过降低模型权重和激活值的精度来减小模型大小，知识蒸馏则是将大型复杂模型（教师模型）学到的知识转移到小型 ...