自从Deepseek横空出世以来，人们会情不自禁地拿Deepseek和ChatGPT作比较。看两者到底有何不同。
那么在模型架构和工资机制比较上，有一个术语，非常不容易理解，就是ChatGPT的Transformer模型架构中的
2025年06月04日
自从Deepseek横空出世以来，人们会情不自禁地拿Deepseek和ChatGPT作比较。看两者到底有何不同。
那么在模型架构和工资机制比较上，有一个术语，非常不容易理解，就是ChatGPT的Transformer模型架构中的
2025年06月04日
有人质疑、嘲讽和挖苦我先前一篇短文说的神经网络大量计算就是矩阵乘法、大模型就是统计模型，但又不提供具体的反例证据，那我就借用别人总结的大模型核心算法-自注意力机制图（类似的图网上有很多）简单解释回应一下：
图中的方块都表示为矩阵，Q、K、V都是X矩阵和相应的权重矩阵相乘而来，再经过Q、K矩阵相乘，归一化处理得到P矩阵，最后P、V矩阵相乘，得到注意力得分矩阵。是否多数时间在进行矩阵乘法运算？
2025年06月04日
《Attention Based Spatial-Temporal Graph Convolutional Networks for Traffic Flow Forecasting》，收录于国际人工智能会议（AAAI-2019），作者是北京交通大学的郭晟楠，宋超，冯宁，以及林友芳、万怀宇老师。
论文下载地址：
https://aaai.org/ojs/index.php/AAAI/article/download/3881/3759
2025年06月04日
近日，清华大学团队打造了首个用于推理加速的微缩版 FP4 注意力机制——SageAttention3，在英伟达 RTX5090 上实现了 1038TOPS 的计算性能。