Decoder 自注意力为什么需要因果掩码，具体如何实现？

• 【Attention Mask】Attention Mask的作用是什么？如何实现？Decoder的mask是怎么添加的，目的是什么？在预测next word时需要注意什么（mask机制）？Encoder和Decoder中的多头注意力机制有何不同？它们的注意力是否全局可见？掩码有何不同？表现是否一致？ 「京东、字节跳动、百度、阿里巴巴」

注意力机制与多头注意力 介绍Transformer中的注意力机制，包括：

• 掩码注意力：因果自注意力（Causal Self-Attention）的掩码形式、掩码注意力的作用。

掩码注意力

• Transformer介绍，masked MHA是怎么处理的？Transformer中有哪些mask？

• What is causal masking?

• 为什么要Decoder自注意力要进行Mask？

• Transformer掩码注意力机制具体是怎么做的？

• Transformer的mask是如何操作的？

• 为什么解码器需要掩码自注意力？请解释 Causal Mask 和 Padding Mask 的作用及实现方式。