大模型位置编码

位置编码

NLP任务（翻译、阅读理解、文本摘要）高度依赖句子顺序，位置编码可以让模型捕获序列的位置信息，提升语言理解能力。

图像任务（目标检测、图像分割、）

绝对位置编码

Transformer使用三角函数位置编码。
BERT使用一个类似于单词嵌入的可训练的参数矩阵作为位置编码（Position Embedding），与Token Embedding和Segement Embedding相加作为输入。

相对位置编码

Reformer

欧拉公式

参考

一文通透位置编码