不要想的太过复杂，就只有随机数生成的三个矩阵，原始输入已经通过矩阵相乘关联在三个随机数矩阵中，再通过一些代数游戏得到每个token对于整体输入序列的注意力权重矩阵，再和另外一个随机数矩阵进行线性的代数变化即可。
反向传播更新的是这三个矩阵的权重，三个矩阵的维度设计也是为了符合线性代数的运算。
总之这个就是一个巧妙的线性代数游戏，没有什么复杂的逻辑问题。
。
代码：
你在健身房发生过什么有趣的事情?
为什么《歌手》不请周杰伦、陈奕迅、王菲、张学友、孙燕姿、梁静茹、王力宏、林俊杰当节目嘉宾？
胸大的女孩会自卑 吗？
***拍大尺度片子时摄影师不会看光吗？
Swift 和同时代的其他语言比起来怎么样？
国产手机APP为什么越来越臃肿？
如何评价“寡姐”斯嘉丽·约翰逊的身材？
有哪些软件堪称神器，却很少人知道？
有人 espresso 直接喝吗，为什么？
鱼缸里的石子有哪些作用？
自己拥有一台服务器可以做哪些很酷的事情？
怎么提高自己的系统设计和架构理论水平？
网传厦门某国企研发部门要求每日考察后端 400 行，前端 1000 行代码量，如属实，这个考核合理吗？
三峡水电站和葛洲坝水电站出来的水流速还不小，为什么不把其利用起来发电？?
为什么Dreamwe***er，FrontPage会被淘汰？
***体隆胸之后多久乳房变软一些?
我的世界怎么租一个四个人的服务器？
巴基斯坦援助伊朗防空，大家怎么看？
AntV X6 如何在节点中间添加新节点？
Golang和J***a到底怎么选?
《凡人修仙传》的韩立有 72 把金雷竹做的剑，其他人看见了不觉得奇怪吗？
小米汽车凭借什么后来居上？
广东怀集遇历史最大洪水，约 30 万人受灾，积水最深处达 3 米，目前当地情况如何？
360 集团周鸿袆努力拼了 4 年，最后反而跌了近 4000 亿，其原因是什么？
颈椎生理曲度变直可以通过运动康复吗？
中国的核武库规模为什么那么小？
