注意力机制
从输入向量到分数、权重和输出。每个数字都由当前输入计算，改动参数后同步更新。
01 / 06
点积与加性注意力
读图方式
分数衡量当前查询与候选项的匹配程度。分数本身可以是负数。
权重由 softmax 得到；在同一组未屏蔽候选项中总和为 1。
输出是各候选值向量按权重求和。通道/空间门控单独采用 sigmoid，各门控权重不要求相加为 1。
从输入向量到分数、权重和输出。每个数字都由当前输入计算，改动参数后同步更新。
分数衡量当前查询与候选项的匹配程度。分数本身可以是负数。
权重由 softmax 得到；在同一组未屏蔽候选项中总和为 1。
输出是各候选值向量按权重求和。通道/空间门控单独采用 sigmoid，各门控权重不要求相加为 1。