损失函数是机器学习中非常重要的一个概念，其本质是衡量推理值与真实目标值之间的逼近情况的一种手段，不同的损失函数适用于不同的使用场景，这篇文章总结了Tensorflow与Keras中常用的几种用于分类任务的交叉熵损失函数。

1、交叉熵损失函数

交叉熵是分类任务中的常用损失函数，在不同的分类任务情况下，交叉熵形式上有很大的差别，

• 二分类任务交叉熵损失函数：

• 多分类任务交叉熵损失函数：

这两个交叉熵损失函数对应神经网络不同的最后一层输出，二分类对应 sigmoid，多分类对应 softmax。它们的交叉熵本质上是一样的：

（1）在信息论中，交叉熵是用来描述两个分布的距离的，函数定义为：

而神经网络训练的目的就是使预测的概率分布 g(x) 逼近真实的概率分布 p(x)。

（2）当 softmax 作为神经网络最后一层时，由于softmax的输出是归一化后的结果，所以可以把输出y作为g(x)，p(x)是one-hot编码的真实标签。

（3）当 sigmoid 作为神经网络最后一层时，由于sigmoid是针对每个元素独立计算的，输出结果相加不等于1，所以不能把它的输出看作一个分布，而应该将最后一层的每个神经元看作一个分布，对应的 yi 服从二项分布 (yi的值代表是这个类的概率)，那么第 i 各神经元的交叉熵为：

用求和符号改写为：

其中，

2、Tensorflow & Keras 中loss函数示例

（1）Tensorflow接口

• tf.losses.sigmoid_cross_entropy(multi_class_labels, logits, ...)

使用
tf.nn.sigmoid_cross_entropy_with_logits接口计算交叉熵

输出：

• tf.losses.softmax_cross_entropy(onehot_labels, logits, ...)

使用
tf.nn.softmax_cross_entropy_with_logits_v2接口计算交叉熵，输入的labels是要经过onehot编码的格式，因为函数内部会计算softmax和cross-entropy，所以输入的logits是不需要经过softmax的值。

tf.nn.softmax_cross_entropy_with_logits_v2函数说明里的一段：

WARNING: This op expects unscaled logits, since it performs a softmaxon logits internally for efficiency. Do not call this op with the output of softmax, as it will produce incorrect results.

意思就是为了效率在函数内部计算了logits的softmax, 不要将softmax的输出作为函数logits输入，否则会导致错误的结果。

输出：

• tf.losses.sparse_softmax_cross_entropy(labels, logits, ...)

使用
tf.nn.sparse_softmax_cross_entropy_with_logits接口计算交叉熵，输入的labels是类别，维度是 [batch_size, 1]，函数内部会计算softmax和cross-entropy，所以输入的logits是不需要经过softmax的值。

输出：

（2）tf.keras接口

• tf.keras.losses.binary_crossentropy(y_true, y_pred)

输出：

• tf.keras.losses.categorical_crossentropy(y_true, y_pred)

输出：

• tf.keras.losses.sparse_categorical_crossentropy(y_true, y_pred)

输出：