attention方法有哪些

attention方法有：1、自注意力机制；2、多头注意力机制；3、局部注意力机制；4、卷积式注意力机制；5、缩放点积注意力；其中，自注意力机制是Transformer模型中非常核心的一个概念，它允许模型在不同的位置为每个输入单词分配不同的权重。

1、自注意力机制

自注意力机制：这是Transformer模型中的核心机制。它允许模型在不同的位置为每个输入单词分配不同的权重，帮助模型更好地理解句子中的长距离依赖关系。

传统RNN/LSTM：RNN和LSTM的处理方式是顺序处理输入序列，对于长距离的依赖关系可能不够敏感。

2、多头注意力机制

多头注意力：在同一时间计算多个自注意力权重，每个“头”关注输入的不同部分，从而捕捉更多种类的信息和模式。

单头注意力：只关注输入的一部分信息，可能会丧失某些重要的模式或信息。

3、局部注意力机制

局部注意力：只关注输入序列的一个子集，通常是与当前词条相邻的其他词条。这可以减少计算复杂性，并专注于当前位置的局部上下文。

全局注意力：关注整个输入序列，可能更计算密集。

4、卷积式注意力机制

卷积式注意力：结合了卷积神经网络和注意力机制，提供了一种在空间上进行局部注意的方式。

传统注意力：可能不会考虑空间上的局部上下文。

5、缩放点积注意力

缩放点积注意力：这是Transformer中使用的注意力形式，使用点积来计算权重，并通过缩放因子进行调整，以确保模型在深度学习时保持稳定。

未缩放点积注意力：直接使用点积，可能在深度学习时不稳定。

延伸阅读：

Attention的概念

注意力机制可以视为映射一个查询和一组键值对到输出的过程，其中查询、键、值和输出都是向量。输出是值的加权和，其中每个值的权重由查询与相应键之间的兼容性函数计算得到。