注意力机制可以用下面的式子来概括：

其中QKV分别是查询向量、键向量、值向量，d是特征维度。softmax控制注意力权重的和为1。

self-attention

如果

也就是说Q和KV来自同一个序列。此时就是在计算同一序列之间每个元素的相关性。所以叫自注意力。

• 对于一张影像而言，如果把它切成patch，再组织成一个序列，就是在求影像中每一部分和其他部分的联系。（一个patch感知全局图像）
• 对于多张影像而言，如果把他们的特征向量组成一个序列，那学习的就是不同影像间的多视角特征的联系。（一张影像感知多视角信息）

cross-attention

相应地，如果

也就是说Q和KV来自不同序列。此时就是在计算不同序列之间的相关性。所以叫跨注意力。不同序列，通常就是多模态的数据，比如说文本、影像数据。

• 比如，Q是影像数据特征，KV是文本数据特征；
• 比如，Q是RGB影像数据的特征，KV是其他条件信号（深度图、法线图、姿态图等）；

跨注意力机制实现的就是将条件信号注入到特征中。

小结

self-attention是模型对自身的理解（自建模），而cross-attention则是模型对其他事物的理解。二者结合，就既能看懂自身是什么，也能看懂外部的指令。