2025年06月08日
在上一发已经介绍了神经网络的背景以及近些年的发展，当然也是近些年的神经网络的复兴使得大家又一次聚焦在他的身上。那么本次将介绍神经网络的基本概念以及求解算法。
神经网络的来源应该有生物学上的启发，以神经生物学中的神经元的概念为原型。神经元包括细胞体、树突、轴突还有突触（如图），突触是由上一个神经元的树突和当前神经元的轴突构成，神经元之间通过突触相连来传递信息，细胞体用来处理信息。
那么神经网络算法是如何借鉴上面的思想的呢？在神经网络算法中包括三个基本概念
2025年06月08日
简单来说，CNN的目的是以一定的模型对事物进行特征提取，而后根据特征对该事物进行分类、识别、预测或决策等。在这个过程里，最重要的步骤在于特征提取，即如何提取到能最大程度区分事物的特征。如果提取的特征无法将不同的事物进行划分，那么该特征提取步骤将毫无意义。而实现这个伟大的模型的，是对CNN进行迭代训练。
卷积神经网络的结构有很多种，但是其基本架构是相似的，拿LeNet-5为例来介绍，如下图，它包含三个主要的层——卷积层（ convolutional layer）、池化层（ pooling layer）、全连接层（ fully-connected layer）。其中，卷积层，用来学习输入数据的特征表征。卷积层由很多的卷积核（convolutional kernel）组成，卷积核用来计算不同的feature map；
2025年06月08日
前言
Avazu(艾维邑动)是一家集PC和移动互联网广告全球投放，全球专业移动游戏运营及发行的技术型公司。为了给客户提供最好的广告效果，公司自主研发的DSP平台使用了最前沿的机器学习算法，下面就来介绍一下相关的广告优化原理和机器学习算法。
广告优化
众所周知，广告点击率(CTR)和转化率(CR)代表了广告投放的效果，如何提高CTR和CR是每个广告主都十分关心的问题。Avazu通过机器学习算法，自动地为实时流量预估CTR，广告主只需简单的将优化目标设置为期望CTR，DSP投放引擎即可为广告主购买相应的优质流量，完成这一任务。如广告主设置优化目标为CPC，则投放引擎通过将CPC转化为期望CPM(CPM = CTR * 1000 * CPC)，购买对应价格的流量。所以机器学习预测越准，广告优化效果就越好。
2025年06月08日
深度学习近年来取得了前所未有的突破，2017年5月，谷歌用深度学习算法击败世界围棋冠军引起了全世界对人工智能的关注。在与谷歌开发的围棋程序的对弈中，柯洁以0︰3完败。这个胜利的背后是包括谷歌在内的科技巨头近年来在深度学习领域的大力投入，由此掀起了人工智能新一轮的发展热潮。深度学习本质上就是用深度神经网络处理海量数据。深度神经网络有
2025年06月08日
支持向量机(Support Vector Machine)是Cortes和Vapnik于1995年首先提出的，它在解决小样本、非线性及高维模式识别中表现出许多特有的优势，并能够推广应用到函数拟合等其他机器学习问题中。这里先不讲解原理，通过两个实例介绍一下SVM在机器学习中的作用和使用方法。
SVM也是一种有监督学习算法，从与标记的训练数据集中建立学习函数，仅需少量训练样本，其函数可以是分类函数（输出是二元的），解决了区分两类由n维向量表示的成员的一般性学习问题；通过引入可选的，经过修改的，包含距离度量的损失函数，SVM也可以被用于回归问题。
2025年06月08日
今天刷题的时候刷到有关动机效率定律的题，具体的关系如图
其实我主要好奇的是为什么动机越高，效率反而会降低，就像一个人很想学习，非常想学习一个东西，又没有考试什么的，结果反馈反而低。我总感觉有点怪。然后就去搜资料。
耶克斯-多德森定律( Yerks_Dodson Law)表明，各种活动都存在一个最佳的动机水平。动机不足或过分强烈，都会使工作效率下降。研究还发现，动机的最佳水平随任务性质的不同而不同。在比较容易的任务中，工作效率随动机的提高而上升；随着任务难度的增加，动机的最佳水平有逐渐下降的趋势，也就是说，在难度较大的任务中，较低的动机水平有利于任务的完成。这就是著名的耶克斯-多德森定律。
2025年06月08日
许多问题和现象都是基于顺序的。常见的例子包括语音、天气模式和时间序列。这些系统的下一个位置取决于之前的状态。
不幸的是，传统的神经网络无法处理或预测此类数据，因为它们单独分析输入。他们不知道数据确实是连续的。
2025年06月08日
全连接层（Fully Connected Layer，简称 FC Layer 或 Dense Layer）是神经网络中的一个常见层，尤其在深度学习的上下文中。它在许多网络架构中都被广泛应用，如卷积神经网络（CNN）或者BERT模型的最后几层。