注意力机制是一种在大模型中广泛使用的技术,其原理及解决的问题可以通俗地表述如下:
2025年03月19日
2025年03月19日
2月18日,在大洋彼岸的马斯克秀出最新大模型Grok 3当天,国产AI公司深度求索(DeepSeek)最新一篇论文引发关注,创始人梁文锋在署名之列,并2月16日提交到预印本平台arxiv。
这篇论文的核心关于NSA(Natively Sparse Attention,原生稀疏注意力)。据DeepSeek,上下文建模对于下一代语言模型至关重要,但标准注意力机制的高计算成本带来了巨大的计算挑战。NSA(稀疏注意力)在提高效率同时,为提高模型能力提供新的方向,实现将算法创新与硬件对齐的优化相结合,进行高效的长上下文建模。
2025年03月19日
YOLO系列算法的革新之旅
YOLO(You Only Look Once)算法自问世以来,就以其卓越的性能和速度在目标检测领域占据着举足轻重的地位。如今,随着YOLOv10的推出,我们见证了这一算法的全新高度。从YOLOv5的模块化设计到YOLOv8的Anchor-Free点检测,再到YOLOv10的无需NMS训练,每一步的创新都在不断刷新我们对实时目标检测的认知。
2025年03月19日
铸造是诸多重装、高精设备关键零部件的主要成形方法,在造型、浇注、落砂等工艺环节已逐步实现自动化,但在表面缺陷检测等环节尚缺少快速检测系统或装置。因生产环节复杂等问题,铸件在铸造过程中易出现偏芯、漂芯、漏芯等成孔缺陷,直接影响后续加工。待检测件具有缺陷成因多、形状不规则、特征提取困难等特点,采用深度学习技术检测铸件表面成孔缺陷存在难度大、检测精度低等难题。