Transformer 源码中文解读 《The Annotated Transformer》 notebook 中文翻译版

中文翻译版github仓库（starstar🌟）

GitHub - mcxiaoxiao/annotated-transformer-Chinese: Transformer论文Attention is All You Need的代码中文注释实现，翻译自harvardnlp/annotated-transformer

The Annotated Transformer

?Attention is All You Need?

• v2022: Austin Huang, Suraj Subramanian, Jonathan Sum, Khalid Almubarak, and Stella Biderman.
• Original:?Sasha Rush.

在过去的一两年里，Transformer已经成为很多人心目中的重要技术之一。本文将为您带来一篇包含深入注解的Transformer论文，以逐行实现实现的形式呈现出来。这篇文章不仅对原版论文进行了重新排序和删减，还在全文中添加了大量的注释，帮助您更好地理解Transformer的核心思想和实现细节。本文档自身便是一份可供运行的工作笔记，并且具有完整的实用性。您可以在这里获得相关的代码资源。

requirements.txt

--find-links https://download.pytorch.org/whl/torch_stable.html

pandas==1.3.5
torch==1.11.0+cu113
torchdata==0.3.0
torchtext==0.12
spacy==3.2
altair==4.1
jupytext==1.13
flake8
black
GPUtil
wandb

以下是每个库的简要注释：

pandas==1.3.5: 数据处理和分析库。
torch==1.11.0+cu113: PyTorch 深度学习库。
torchdata==0.3.0: PyTorch 数据加载和预处理库。
torchtext==0.12: PyTorch 文本处理库。
spacy==3.2: 自然语言处理库。
altair==4.1: 数据可视化库。
jupytext==1.13: Jupyter 笔记本扩展，支持将 Jupyter 笔记本转换为其他格式。
flake8: Python 代码静态检查工具。
black: Python 代码格式化工具。
GPUtil: GPU 监控和管理工具。
wandb: 实验跟踪和可视化工具。