手撕模型代码

代码实现参考 huggingface/transformers

1. Models

1.1 Transformer

(1) 知乎文章: 手撕 Transformer（一）：模型实现

(2) 模型结构

1.2 Llama3

(1) 知乎文章：手撕 llama3（一）：模型实现

(2) 模型结构

1.3 DeepSeek-V3

(1)

(2) 模型结构

2. Examples

2.1 英译中任务

(1) 知乎文章：手撕 Transformer（二）：实战英译中任务

(2) 数据集链接：中英文翻译数据集 - Heywhale.com

2.2 Llama3-1B 推理任务

(1) 知乎文章: 手撕 llama3（二）：llama3-1B 模型推理实战