【LLM】大型语言模型综述论文

今天我将与大家分享一篇精彩的论文。这项调查提供了LLM文献的最新综述，这对研究人员和工程师来说都是一个有用的资源。

为什么选择LLM？

当参数尺度超过一定水平时，这些扩展的语言模型不仅实现了显著的性能改进，而且还表现出一些小规模语言模型（如BERT）所不具备的特殊能力（如上下文学习）。

为了区分参数尺度的差异，研究界为显著大小的PLM（例如，包含数百亿或数千亿个参数）创造了“大型语言模型”（LLM）一词。

特别是，这里的研究人员关注LLM的四个主要方面，即预训练、适应调整、利用和能力评估。此外，他们还总结了开发LLM的可用资源，并讨论了未来方向的剩余问题。

近年来现有大型语言模型（大小大于10B）的时间表。他们用黄色标记开源LLM。

现有LLM的预训练数据中各种数据源的比率。

实例格式的说明以及构造指令格式实例的两种不同方法

Link Of Paper?Survey On LLMs

文章链接

https://pgmr.cloud/survey-large-language-models-0

自我介绍

• 做一个简单介绍，酒研年近48 ，有20多年IT工作经历，目前在一家500强做企业架构．因为工作需要，另外也因为兴趣涉猎比较广，为了自己学习建立了三个博客，分别是【全球IT瞭望】，【架构师研究会】和【开发者开聊】，有更多的内容分享，谢谢大家收藏。
• 企业架构师需要比较广泛的知识面，了解一个企业的整体的业务，应用，技术，数据，治理和合规。之前4年主要负责企业整体的技术规划，标准的建立和项目治理。最近一年主要负责数据，涉及到数据平台，数据战略，数据分析，数据建模，数据治理，还涉及到数据主权，隐私保护和数据经济。 因为需要，比如数据资源入财务报表，另外数据如何估值和货币化需要财务和金融方面的知识，最近在学习财务，金融和法律。打算先备考CPA，然后CFA，如果可能也想学习法律，备战律考。
• 欢迎爱学习的同学朋友关注，也欢迎大家交流。全网同号【架构师研究会】

欢迎收藏??【全球IT瞭望】，【架构师酒馆】和【开发者开聊】.