机器之心编辑部
OPPO研究院联合上海交通大学提出的新的自蒸馏框架DLB，无需额外的网络架构修改，对标签噪声具有鲁棒性，并可大幅节约训练的空间复杂度，在三个基准数据集的实验中达到了SOTA性能。深度学习促进人工智能（AI）领域不断发展，实现了许多技术突破。与此同时，如何在有限硬件资源下挖掘模型潜能、提升部署模型的准确率成为了学界和业界的研究热点。其中，知识蒸馏作为一种模型压缩和增强的方法，将泛化能力更强的「大网络模型」蕴含的知识「蒸馏」到「小网络模型」上，来提高小模型精度，广泛地应用于AI领域的全监督、半监督、自监督、域迁移等各个方向。
近日，OPPO研究院联合上海交通大学将视角聚焦到知识蒸馏的范式本身，提出了新的自蒸馏框架：DLB（Self-DistillationfromLastMini-Batch），模型无需额外的网络架构修改，对标签噪声具有鲁棒性，并大幅节约训练的空间复杂度。此外，在三个基准数据的实验中，模型达到了SOTA性能。相关论文「Self-DistillationfromtheLastMini-BatchforConsistencyRegularization」已被CVPR收录。
论文链接：
转载请注明：http://www.0431gb208.com/sjsbszl/984.html
