从头开始构建大型语言模型

了解如何从头开始构建大型语言模型，从而创建、训练和调整大型语言模型！LLMs

在“从头开始构建大型语言模型”中，你将了解如何从内到外LLMs工作。在这本富有洞察力的书中，畅销书作家塞巴斯蒂安·拉施卡 （Sebastian Raschka） 将指导您逐步创建自己的LLM阶段，并用清晰的文本、图表和示例解释每个阶段。从最初的设计和创建到对通用语料库的预训练，一直到针对特定任务进行微调。 构建大型语言模型课程内容包括：

1. 从基础理解注意力机制

2. 构建并预训练一个类似于GPT的模型

3. 学习如何加载预训练的权重

4. 对模型进行分类任务的微调

5. 使用直接偏好优化进行指令微调模型

为 ChatGPT、Bard 和 Copilot 等尖端 AI 工具提供动力的大型语言模型 （LLMs） 似乎是一个奇迹，但它们并不是魔术。这本书LLMs通过帮助你从头开始构建自己的来揭开神秘面纱。你将获得对工作原理LLMs的独特而有价值的见解，学习如何评估其质量，并掌握具体技术来微调和改进它们。

在本课程中，你用来训练和开发自己的小型但功能强大的模型的过程，遵循了用于交付大规模基础模型（如 GPT-4）的相同步骤。你的小规模LLM可以在普通笔记本电脑上开发，你将能够将其用作自己的个人助理。