attention方法有：1、自注意力机制；2、多头注意力机制；3、局部注意力机制；4、卷积式注意力机制；5、缩放点积注意力；其中，自注意力机制是Transformer模型中非常核心的一个概念，它允许模型在不同的位置为每个输入单词分配不同的权重。
1、自注意力机制
自注意力机制：这是Transformer模型中的核心机制。它允许模型在不同的位置为每个输入单词分配不同的权重，帮助模型更好地理解句子中的长距离依赖关系。
传统RNN/LSTM：RNN和LSTM的处理方式是顺序处理输入序列，对于长距离的依赖关系可能不够敏感。
2、多头注意力机制
多头注意力：在同一时间计算多个自注意力权重，每个“头”关注输入的不同部分，从而捕捉更多种类的信息和模式。
单头注意力：只关注输入的一部分信息，可能会丧失某些重要的模式或信息。
3、局部注意力机制
局部注意力：只关注输入序列的一个子集，通常是与当前词条相邻的其他词条。这可以减少计算复杂性，并专注于当前位置的局部上下文。
全局注意力：关注整个输入序列，可能更计算密集。
4、卷积式注意力机制
卷积式注意力：结合了卷积神经网络和注意力机制，提供了一种在空间上进行局部注意的方式。
传统注意力：可能不会考虑空间上的局部上下文。
5、缩放点积注意力
缩放点积注意力：这是Transformer中使用的注意力形式，使用点积来计算权重，并通过缩放因子进行调整，以确保模型在深度学习时保持稳定。
未缩放点积注意力：直接使用点积，可能在深度学习时不稳定。
延伸阅读：
Attention的概念
注意力机制可以视为映射一个查询和一组键值对到输出的过程，其中查询、键、值和输出都是向量。输出是值的加权和，其中每个值的权重由查询与相应键之间的兼容性函数计算得到。
文章标题：attention方法有哪些，发布者：Flawy，转载请注明出处：https://worktile.com/kb/p/61498
微信扫一扫 
支付宝扫一扫 
