为什么我还是无法理解transformer？
- 发表时间：2025-06-25 13:40:13
- 来源：
不要想的太过复杂，就只有随机数生成的三个矩阵，原始输入已经通过矩阵相乘关联在三个随机数矩阵中，再通过一些代数游戏得到每个token对于整体输入序列的注意力权重矩阵，再和另外一个随机数矩阵进行线性的代数变化即可。
反向传播更新的是这三个矩阵的权重，三个矩阵的维度设计也是为了符合线性代数的运算。
总之这个就是一个巧妙的线性代数游戏，没有什么复杂的逻辑问题。
。
推荐资讯
- 2025-06-25 18:10:12特斯拉宣布将于 6 月 22 日开始 Robotaxi 公开试运营，这将对自动驾驶行业带来哪些影响？
- 2025-06-25 19:30:11为什么中国式父母总是很“扫兴”？
- 2025-06-25 18:50:11为什么突破性的技术总是最先发生在西方？
- 2025-06-25 19:20:11商业史上有哪些降维打击的经典案例？
- 2025-06-25 17:55:12为什么 php 可以做到 7 毫秒以内响应，而 .net 做不到？
- 2025-06-25 18:00:12刘强东看到了什么，才去搞外卖?
- 2025-06-25 18:40:11游泳给你带来哪些改变？
- 2025-06-25 19:20:11人在45岁是一种什么感觉？
- 2025-06-25 18:35:1227寸显示器有必要上4K吗？
- 2025-06-25 18:15:11《红色警戒2》里为什么防空导弹不如防空炮？
推荐产品
-
目前最具性价比的全栈路线是啥？
有一个网站可以查任意一个网站的技术栈。 w***alyze -
有哪些是你用上了mac才知道的事？
用MAC最好是这么4种人： 一是对LINUX极度熟悉的，又对 -
为什么年轻人不要养龟？
真相是，不是“不要养”，而是你可能还没准备好理解一只龟的慢如 -
为什么 electron 不做成独立的 runtime？
几个月前一个electron安全更新干废了vscode的剪贴
最新资讯