【KD】知识蒸馏(knowledge distillation)简单介绍

2024-01-07 19:10:03

最近学到了知识蒸馏的相关知识,来简单总结一下?? ?? ? ????。


?知识蒸馏?

?????? 知识蒸馏,是一种模型压缩的手段。通过训练学生模仿教师的行为,将嵌入在大的教师模型中的知识迁移到小的学生模型。

例如,TinyBERT(Jiao et al.,2020)通过在通用领域的大规模语料库上执行通用的蒸馏,首次得到了一个通用的蒸馏小模型,然后在微调阶段用下游任务数据执行面向特定任务的蒸馏。DynaBERT通过从全量模型到小规模的子模型的知识蒸馏,训练了一个宽度自适应和深度自适应的BERT模型。

????????知识蒸馏也可以用于剪枝,以提高性能,例如块剪枝(Lagunas et al,2021)和CoFi(Xia et al,2022)。

知识蒸馏与迁移学习的关系

知识蒸馏中的温度设置

文章来源:https://blog.csdn.net/m0_56367027/article/details/135428246
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。