【self-attention】自注意力机制
介绍
在地震波剖面图片中,有多次波和单次波等波形数据,每种波形都有其各自的特征和属性。一般情况下,是将整张剖面图片作为输入加载进神经网络中进行训练,这样的方法虽然简单直接,但是也会在训练过程中增加很多不必要的计算。假设在训练过程中只想要关注多次波的数据,那么就需要引入自注意力机制来实现。自注意力机制能够在减少数据量的同时,提取我们所关注的数据。
? 由于每种波形都有其各自的特征 (key) 和属性 (value) ,而我们所期望的数据是剖面中的多次波 (query),注意力机制首先计算“多次波”的query与各种波形key的关联性,再计算得到每种波形所对应的权重 (weight) ,最终得到结果
而这其中由于剖面中的多次波与“多次波的query“关联性较大,因此最终结果的输出也受到多次波的value的影响较大。这样我们就实现了减少数据量的同时还能提起我们所关注的数据.