原文来源:arxiv
作者:Bichen Wu、Alvin Wan、Xiangyu Yue、Peter Jin、Sicheng Zhao等
「雷克世界」编译:嗯~阿童木呀
通常情况下,神经网络是依靠卷积来聚集空间信息的。然而,就模型大小和计算而言,空间卷积是非常昂贵的,且这两者会随着内核大小变化呈现出二次方增长趋势。在本文中,我们提出了一种无参数、无FLOPs(每秒浮点运算次数)约束的“移位”操作作为空间卷积的可替代性选择。我们融合了移位和逐点卷积,以构建端到端的可训练的基于移位的模块,其中超参数表征了在准确性和效率之间的折衷。为了演示该操作的有效性,我们用基于移位的模块取代了ResNet的3x3卷积,在使用减少了60%的参数情况下,提高了CIFAR10和CIFAR100中的精度,我们还演示了该操作在ImageNet上对参数减少的弹力适应性,结果显示,其性能要优于ResNet系列。最后,我们展示了移位操作在各领域的适用性,在分类、人脸确认(face verification)和风格迁移任务中仅使用较少的参数便实现了较强的性能表现。