本文将从损失函数的本质、损失函数的原理、损失函数的算法

《Tensorflow交通标志识别检测》开题报告

一、研究背景及意义

随着智能交通系统和无人驾驶技术的快速发展，交通标志识别系统成为智能驾驶系统的重要组成部分。传统的交通标志识别方法主要依赖于人工检查和识别，存在效率低下、易受主观因素影响等问题。因此，基于深度学习的交通标志识别技术应运而生，旨在提高识别的准确性和效率。

要坚持一件事情，还是得看兴趣，平时除了上班就是看看网络上的技术资料。接着上一篇继续讲解基础名词。

池化层：

对输入的特征图进行压缩，一方面使特征图变小，简化网络计算复杂度；一方面进行特征压缩，提取主要特征，如下：

池化操作一般有两种，一种是Avy Pooling,一种是max Pooling,如下：

Softmax的核心思想

softmax ，说人话，就是从一堆数字中，找出一个最大值，就是找 max。

1.概率归一化，而非极端化

一种极具毁灭性的舍入误差是下溢（underflow）。当接近零的数被四舍五入为零时发生下溢。另一个极具破坏力的数值错误形式是上溢（overflow）。当大量级的数被近似为 ∞ 或 -∞ 时发生上溢。进一步的运算通常会导致这些无限值变为非数字。必须对上溢和下溢进行数值稳定的一个例子是softmax 函数（softmax function）。softmax 函数经常用于预测与 Multinoulli 分布相关联的概率，定义为

softmax用于多分类过程中，它将多个神经元的输出，映射到（0,1）区间内，可以看成概率来理解，从而来进行多分类！

撰文 ｜ 郭冉

Softmax操作是深度学习模型中最常用的操作之一。在深度学习的分类任务中，网络最后的分类器往往是Softmax + CrossEntropy的组合：

论文题目：AGMS-GCN: Attention-guided multi-scale graph convolutional networks for skeleton-based action recognition

作者&团队：Kilic U, Karadag O O, Ozyer G T.

1.土耳其 埃尔祖鲁姆技术大学 计算机工程系

2.土耳其 阿塔图尔克大学 计算机工程系

自动化机器学习（AutoML）变得越来越火，是机器学习下个发展方向之一。其中的神经网络结构搜索（NAS）是其中重要的技术之一。人工设计网络需要丰富的经验和专业知识，神经网络有众多的超参数，导致其搜索空间巨大。NAS即是在此巨大的搜索空间里自动地找到最优的网络结构，实现深度学习的自动化。本文将介绍几种经典的NAS方法，方便给读者一个对NAS的直观总览。虽然NAS的热度有所降低，但NAS的发展不会停下，AutoML的发展更不会停下，毕竟一个成熟的AI该学会自己成长了

本文为你总结常见的神经网络求导。

derivative of softmax

1.1 derivative of softmax