丰色 发自 凹非寺
量子位 报道 | 公众号 QbitAI
正如大家所知，在进行图像语义分割时，图像被编码成一系列补丁后往往很模糊，需要借助
2025年06月04日
丰色 发自 凹非寺
量子位 报道 | 公众号 QbitAI
正如大家所知，在进行图像语义分割时，图像被编码成一系列补丁后往往很模糊，需要借助
2025年06月04日
在《机器学习综述》中大致罗列人工智能常见算法，近些年深度学习发展快速，其中Transformer为甚，其英文的意思是变形金刚，对的就是我们看电影变形金刚的意思。Transformer是大语言模型的基础，比如现在常见的GPT、Bert、PaLM等大模型。Transformer概念是由谷歌在2017年《Attention is All You Need》首次提出。它提出了sequence to sequence with self-attention机制，利用attention解决RNN等长文本无法并行计算。
2025年06月04日
transformer模型是在NLP领域发表的论文attention is all you need中提出的一种语言处理模型，其transformer模型由于加速了模型推理时间与训练精度，越来越受到了广大机器学习爱好者的追求。特别是transformer模型应用到CV计算机视觉领域后，transformer模型更是得到了广大的应用。
最近大火的AI绘图stable diffusion也是应用到了transformer模型。虽然transformer模型是Google发布的论文，且最初的实现代码是基于TensorFlow实现的，但是pytorch的流行，让很多机器学习爱好者使用pytorch来实现transformer模型。