首先自我介绍一下，本人某211.A学科研二在读，已投2篇深度学习方面的论文，还算有点知识积累，所以在此把自己的学习经验分享给大家。不管是做什么方向，多模态也好，故障诊断或者智慧医疗也罢，入门的学习大致是类似的。
1. 基础学习
学任何东西，书籍往往是最全面且系统的，深度学习也不例外。
图1展示了有关深度学习入门的主流书籍，像西瓜书、花书这种相信大家应该并不陌生。因为时间有限，大多数研究室往往在研一第一学期结束前就要让同学们开始自己的研究，想要把这些书都看完是不可能的，也没那个必要。在此，分享一下本人的阅读记录：
首先，刚进课题组的第一天我导就扔了一本李华的《统计学习方法》过来，于是乎我第一本看的就是它，这样对深度学习有了基本的了解。对于刚入学的同学来说，还是浅读为主，手推里面的公式反正我没是没去做。接着看了周志华的西瓜书（同时进行了视频学习），也只是囫囵吞枣，只看了表面的东西，此时我意识到得上手代码，不然花再多时间都是白费，于是乎开始动手，而此时其他很多同学还是在看视频，或者是在众多书中迷失自我。在动手学习python的同时，配合着深度学习入门（斋藤康毅 著）这本书一起看。
图书
1) 李航-统计学习方法 （1-2，5-7章，可先不看）
2) 周志华-机器学习（1-6，8，10-11章，可先不看）
3) 重点看深度学习（花书）第5-10、14章。
4) 深度学习入门（斋藤康毅 著）
5) 深度学习进阶（斋藤康毅 著）学习词向量模型
视频学习（哔哩哔哩）
深度学习的主流学习视频如下：
1) 李宏毅-机器学习
2)吴恩达-机器学习
3）李沐-机器学习和动手学深度学习
4) 刘二大人-pytorch
李宏毅得视频我看了一遍，重点章节如CNN,LSTM,GRU等则需反复回看直至理解掌握，吴恩达的视频速览了一遍，没太看得下去qaq.接着在动手熟悉python语言的同时，看了刘二大人得pytorch，学习基本的模型搭建。
2. 代码学习
我自己在本科阶段是学过python，有一定的基础，所以就直接上手了，假如0基础的同学，我建议先看《利用python进行数据分析》或者《python入门到实战》（图2），有个基本的代码基础。
接着就可以试着写经典模型的代码了，一定要把每个代码、每个符号都弄懂，讲给别人听，这样你的代码能力会进步得飞快。我自己是先训练了VGG模型，耗时3周，接着跑了HAN模型，然后是Transformer模型，最后是用BERT提取我自己文本数据的特征，地址如下：
VGG网络模型及代码分析
https://blog.csdn.net/weixin_45225975/article/details/109220154
自注意力
2) 超详细图解Self-Attention - 伟大是熬出来的的文章 - 知乎
https://zhuanlan.zhihu.com/p/410776234
3) 各种注意力模型 https://github.com/xmu-xiaoma666/External-Attention-pytorch 重点看SeNet CBAM
Transformer模型（重要）
6) 过程详解参考
https://blog.csdn.net/qq_43079023/article/details/103301846?utm_medium=distribute.pc_relevant.none-task-blog-2~default~baidujs_title~default-.no_search_link&spm=1001.2101.3001.4242.3
https://wmathor.com/index.php/archives/1438/
7) torch代码参考 https://wmathor.com/index.php/archives/1455/
两者结合阅读进行理解。
HAN模型
1) HAN模型 jupyter运行
https://github.com/mregan1314/Hierarchical-Attention-Network/blob/master/HAN%20yelp.ipynb Yelp数据集
https://buomsoo-kim.github.io/attention/2020/03/26/Attention-mechanism-16.md/
（选择一个查看即可）
LSTM模型
1） LSTM和GRU的解析从未如此通俗易懂（动图）
相应的英文版在https://towardsdatascience.com/illustrated-guide-to-lstms-and-gru-s-a-step-by-step-explanation-44e9eb85bf21
2）LSTM模型结构的可视化 - master苏的文章 - 知乎
https://zhuanlan.zhihu.com/p/139617364
BERT
pytorch版的bert分类模型流程 - 知乎 (zhihu.com)
https://zhuanlan.zhihu.com/p/365477391
最后推荐一些我入门时看的文章：
必读论文
Multi-modal Factorized Bilinear Pooling (MFB) for VQA https://github.com/asdf0982/vqa-mfb.pytorch
Efficient Low-rank Multimodal Fusion with Modality-Specific Factors https://github.com/Justin1904/Low-rank-Multimodal-Fusion
LXMERT: Learning Cross-Modality Encoder Representations from Transformers, EMNLP 2019 https://github.com/airsplay/lxmert
多模态融合
多模态融合综述https://zhuanlan.zhihu.com/p/97170240
多模态情感分析
多模态情感分析简述https://zhuanlan.zhihu.com/p/97170240
Tensor Fusion Network for Multimodal Sentiment Analysis论文笔记 https://zhuanlan.zhihu.com/p/498497882
论文列表 https://github.com/NUSTM/ABSA-Reading-List
最后放一下本人的各阶段学习时间，供参考：第一学期9-10月书籍+视频，11月-新年1月跑经典模型，寒假荒废qaq......第二学期3-5月跑通自己的第一个实验，7-9月跑通第二个实验，第三学期12月底投第一篇，1月投第二篇。
第一次写文章，如有错误请见谅，欢迎大家讨论交流
注：图片和链接来源网络，如有侵权联系作者删除