Orca 虎鲸1号余波未平 ,虎鲸2号一波又起

2023-12-26 21:09:39

 还是讲虎鲸,不过是迭代了

Image

     1 2 3上链接......

     2311.11045.pdf (arxiv.org)

     

Image

       11月18号新出的论文,不同于Orca1,Orca2的论文著作这里有中国兄弟介入了,感觉Orca1好像都是3哥,3哥水论文的速度是真的快...

       先说一下我对这篇论文的感受,其实没多有特别大的变革,比起Llama到Llama2的变更还是小的(光是GQA这一项就挺颠覆的)

        文章开头照例给他们团队做了一个广告,众所周知的刷榜环节

Image

        用一个常见的问题来直观感受一下几个模型回答问题的区别

Image

         下图是这些模型的相关top_p,temperature的设定

文章来源:https://blog.csdn.net/kingsoftcloud/article/details/135229301
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。