本文为你总结常见的神经网络求导。
derivative of softmax
1.1 derivative of softmax
2025年06月24日
图：pixabay
原文来源：arxiv
作者：Google Brain
「雷克世界」编译：嗯~阿童木呀、多啦A亮
可以这样说，一个具有独立同分布（independent identically distributed，i.i.d）先验参数的深度完全连接神经网络，就等同于在无限网络宽度限制下的高斯过程（GP）。这种对应关系使得仅通过简单的矩阵计算，便能够为回归任务上的神经网络提供精确的贝叶斯推理。而对于单隐层网络来说，这个GP的协方差函数早已为人所知。
2025年06月24日
Sigmoid和Softmax是机器学习模型中常用的两种激活函数。
Sigmoid激活函数将任何输入值映射到0到1之间的值。它的定义公式为：
2025年06月24日
Softmax是一种数学函数，通常用于将一组任意实数转换为表示概率分布的实数。其本质上是一种归一化函数，可以将一组任意的实数值转化为在[0, 1]之间的概率值，因为softmax将它们转换为0到1之间的值，所以它们可以被解释为概率。如果其中一个输入很小或为负，softmax将其变为小概率，如果输入很大，则将其变为大概率，但它将始终保持在0到1之间。
Softmax是逻辑回归的一种推广，可以用于多分类任务，其公式与逻辑回归的sigmoid函数非常相似。只有当分类是互斥的，才可以在分类器中使用softmax函数，也就是说只能是多元分类（即数据只有一个标签），而不能是多标签分类（即一条数据可能有多个标签）。
2025年06月24日
常见的逻辑回归、SVM等常用于解决二分类问题，对于多个选项的分类问题，比如识别手写数字，它就需要10个分类，同样也可以用逻辑回归或SVM（只是需要多个二分类来组成多分类）。对于多分类的实现，我们还可以使用Softmax函数，它是逻辑回归在 N 个可能不同的值上的推广。
Softmax作用
神经网络的原始输出不是一个概率值，实质上只是输入的数值做了复杂的加权(*w+b)和与非线性处理之后的一个值而已