Softmax的核心思想

softmax ，说人话，就是从一堆数字中，找出一个最大值，就是找 max。

1.概率归一化，而非极端化

一种极具毁灭性的舍入误差是下溢（underflow）。当接近零的数被四舍五入为零时发生下溢。另一个极具破坏力的数值错误形式是上溢（overflow）。当大量级的数被近似为 ∞ 或 -∞ 时发生上溢。进一步的运算通常会导致这些无限值变为非数字。必须对上溢和下溢进行数值稳定的一个例子是softmax 函数（softmax function）。softmax 函数经常用于预测与 Multinoulli 分布相关联的概率，定义为

softmax用于多分类过程中，它将多个神经元的输出，映射到（0,1）区间内，可以看成概率来理解，从而来进行多分类！

撰文 ｜ 郭冉

Softmax操作是深度学习模型中最常用的操作之一。在深度学习的分类任务中，网络最后的分类器往往是Softmax + CrossEntropy的组合：

论文题目：AGMS-GCN: Attention-guided multi-scale graph convolutional networks for skeleton-based action recognition

作者&团队：Kilic U, Karadag O O, Ozyer G T.

1.土耳其 埃尔祖鲁姆技术大学 计算机工程系

2.土耳其 阿塔图尔克大学 计算机工程系

自动化机器学习（AutoML）变得越来越火，是机器学习下个发展方向之一。其中的神经网络结构搜索（NAS）是其中重要的技术之一。人工设计网络需要丰富的经验和专业知识，神经网络有众多的超参数，导致其搜索空间巨大。NAS即是在此巨大的搜索空间里自动地找到最优的网络结构，实现深度学习的自动化。本文将介绍几种经典的NAS方法，方便给读者一个对NAS的直观总览。虽然NAS的热度有所降低，但NAS的发展不会停下，AutoML的发展更不会停下，毕竟一个成熟的AI该学会自己成长了

本文为你总结常见的神经网络求导。

derivative of softmax

1.1 derivative of softmax

Sigmoid和Softmax是机器学习模型中常用的两种激活函数。

Sigmoid

Sigmoid激活函数将任何输入值映射到0到1之间的值。它的定义公式为：

Softmax是一种数学函数，通常用于将一组任意实数转换为表示概率分布的实数。其本质上是一种归一化函数，可以将一组任意的实数值转化为在[0, 1]之间的概率值，因为softmax将它们转换为0到1之间的值，所以它们可以被解释为概率。如果其中一个输入很小或为负，softmax将其变为小概率，如果输入很大，则将其变为大概率，但它将始终保持在0到1之间。

Softmax是逻辑回归的一种推广，可以用于多分类任务，其公式与逻辑回归的sigmoid函数非常相似。只有当分类是互斥的，才可以在分类器中使用softmax函数，也就是说只能是多元分类（即数据只有一个标签），而不能是多标签分类（即一条数据可能有多个标签）。

常见的逻辑回归、SVM等常用于解决二分类问题，对于多个选项的分类问题，比如识别手写数字，它就需要10个分类，同样也可以用逻辑回归或SVM（只是需要多个二分类来组成多分类）。对于多分类的实现，我们还可以使用Softmax函数，它是逻辑回归在 N 个可能不同的值上的推广。

Softmax作用

神经网络的原始输出不是一个概率值，实质上只是输入的数值做了复杂的加权(*w+b)和与非线性处理之后的一个值而已