为什么羊驼群里混入一只虎鲸,关于Orca和逐步蒸馏

2023-12-16 12:02:38

作为系列的第三章，也算是个小收尾

      前两章传送门：  

      不敢想象自动给训练数据打标签能有多爽 (qq.com)

     读书人想要点数据，怎么能叫偷呢？要叫借, 也可以叫Self-Instruct (qq.com)

       自从Llama诞生以来，几乎已经成为了开源世界的模型标准，而诸多基于Llama重训练和微调的各个版本也应运而生，其中比较有代表性的有以下这些：

Image

      好似庞大的家族图谱一样，说白了，就是基于Llama通过利用不同的数据集，制定差异化的下游任务，不同训练和微调方法产生了多种多样的模型。

      然后在羊驼家族里，今年年中的时候混入了一只奇怪的生物Orca,直译就是虎鲸

Image

      

文章来源:https://blog.csdn.net/kingsoftcloud/article/details/135029426
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。