大模型入门0: 基础知识

2024-01-02 02:06:48
  1. transformer
  2. scaling law
  3. 分布式训练

自然语言处理包括几大任务

  • NLP: 文本分类,词性标注,信息检索
  • NLG:机器翻译,自动摘要,问答QA、对话机器ChatBot
  • 下游任务: 词性标注(POS),句法分析(DP),命名实体识别(NER)和自然语言推理(NLI),文档摘要,跨语种翻译,自然语言推理与情感分类

Transformer

几大范式

  • BERT
    • 预训练,MLM, NSP
    • 下游任务:通过finetune实现分类, NER, 句子相似度, 问答系统等
  • GPT
    • 预训练, Next token prediction
    • 下游任务: Prompting实现文本生成,语言翻译,对话生成,摘要生成等
  • T5
    • 预训练任务: span corruption

T5

Bert

GPT

请添加图片描述

  • 下游任务, 相比BERT对下游任务需要参数微调的代价,GPT3提出的prompt design, 通过instruction+prompt进行下游任务无需任何额外操作。后续Pre?x-tuning: Optimizing continuous prompts for generation提出了prompt tuning效果更好
  • in context learning: (few shot prompting, zero-shot transfer) 不需要进行参数更新,在模型inference阶段,为了让模型的能力迅速迁移到某个特定task,先给一些参考样例,模型就迅速领会,也就是example放在context里,模型从context领会,也就可以按照这个例子里的task输出了 .
  • instruction learning: 更符合人类表达习惯的方式与LLM交互

GLM

大模型

大模型时代,则需要重点关注其zero-shot,few-shot,推理等能力。NLG通过prompt也能够实现NLU任务,主线逐渐变成了NLG任务。

PaLM: Pathways Language Model

  • 数据
  • 评测
  • 模型
  • 效果

Flan

LLama

scaling law

大模型时代,很多观念都需要更新了。scaling地方在于数据量,任务量,模型参数量。

分布式训练

  • 分布式通信库:CPU上用MPI,GPU上用NCCL
  • 点对点通信(Point-to-point Communication, P2P): 两个节点间通信,集合通信(Collective Communication, CC):一组节点内通信
  • 数据并行(DP)、模型并行(TP)、流水线并行(PP)
  • 流水线并行: Gpipe,
    • 模型的拓扑序,切分成p段,每一段为一个stage
    • mini-batch进一步切分为几个大小的micro-batch
  • zero使用的几个阶段

reference

文章来源:https://blog.csdn.net/weixin_38812492/article/details/135320140
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。