导读：本篇文章首席CTO笔记来给大家介绍有关人工智能中激活函数有什么的相关内容，希望对大家有所帮助，一起来看看吧。
激活函数总结
因为神经网络是线性组合,激活函数给神经元引入了非线性因素,使得神经网络可以任意逼近任何非线性函数,这样神经网络就可以应用到众多的非线性模型中.好用的激活函数具有可求且方便求导,单调平滑.下面简单介绍一下常用的激活函数:
1. sigmoid函数 :常用于LR中,也可以用于神经网络最后一层(一分类问题,是该类,和其他).函数公式和图表如下图:
如图2所示,它能够把输入的连续实值变换为(0,1)之间的输出,特别的,如果是非常大的负数,那么输出就是0,如果是非常大的正数,输出就是1. sigmoid曾经是主流的激活函数,但是由于一些缺陷,导致现在不主流了...它的缺点有:
1) 由于sigmoid导数的性质(如图3),在神经网络进行反向传播时,会发生梯度消失(权重初始值在[0,1]内)和梯度爆炸(权重初始值在[1,+∞]).
2) 其解析式中含有幂运算,计算机求解时相对来讲比较耗时,对于规模比较大的深度网络,这会较大地增加训练时间.
3) sigmoid的输出不是0均值的,这会导致后一层的神经元将得到上一层输出的非0均值的信号作为输入, 产生的一个结果就是:如果数据进入神经元的时候是正的,那么计算出的梯度也会始终都是正的.
2. tanh函数 :tanh函数是拉伸后的sigmoid,它弥补了sigmoid的缺点3,tanh函数公式和曲线如下:
它的值域变成了(-1,1),均值从sigmoid的0.5,变成了0.从而解决sigmoid的缺点3输出均值不为0的问题.从图4可以看出,在0附近曲线的倾斜更为陡峭,所以它的导数的曲线是比图3更高更细一些.
它的优点是解决了sigmoid的输出均值不为0的问题,还有就是比sigmoid的收敛更快一些.
它的缺点是还没有解决sigmoid最大的问题1,梯度消失和梯度爆炸的问题.
3. ReLU函数 :ReLU函数训练速度比tanh快6倍,是目前使用最广泛的激活函数.当输入值小于零时,输出值为零.当输入值大于等于零时,输出值等于输入值.公式和曲线如下:
它的优点是训练速度快(因为线性),同时当输入为正数时,不会造成梯度爆炸.
它的缺点是ReLU所在的神经元在训练的过程中可能会随机失活,如果learning rate很大,那么很有可能网络中的40%的神经元都”dead”了.而且它的输出也不是均值为0.
4. LeakyReLU PReLU函数 :这两个激活函数类似,都是ReLU的改良版,目的是为了避免出现神经单元失活的问题.公式如下:
其中LeakyReLU将α的值设为0.001,而PReLU是将α当做参数一起参与到模型训练中去学习.这样函数的输出下界不为0,从而也不会有神经元失活的现象.
5. ELU函数 (指数线性单元):它解决了ReLU的两个问题,一个是失活,一个是均值不为0的问题.
6. softmax函数 :常用于神经网络的最后一层(多分类),是sigmoid函数在多分类问题上的推广.公式如下:
它的值域是[0,1],输出是概率值,所以加和为1.用指数的形式是为了使大的值更大,同时也为了求导.
1.尽量不要使用sigmoid和tanh函数(梯度消失和爆炸),尽量使用ReLU及其变体.
2.使用ReLU时,注意设置小的learning rate.
3.尽量使用0均值的激活函数.
激活函数的作用是什么
激活函数是为了解决对隐藏变量使用按元素运算的非线性函数进行变换，然后再作为下一个全连接层的输入。单层感知机只能表示线性空间，不能线性划分。激活函数是连接感知机和神经网络的桥梁。
神经网络的正向传播中进行的矩阵的乘积运算在几何学领域被称为“仿射变换”。因此，这里将进行仿射变换的处理实现为“Affine层”。
几何中，仿射变换包括一次线性变换和一次平移，分别对应神经网络的加权和运算与加偏置运算。
激活函数对于人工神经网络模型去学习、理解非常复杂和非线性的函数来说具有十分重要的作用。它们将非线性特性引入到我们的网络中。如图1，在神经元中，输入的inputs通过加权，求和后，还被作用了一个函数，这个函数就是激活函数。
引入激活函数是为了增加神经网络模型的非线性，没有激活函数的每层都相当于矩阵相乘。就算你叠加了若干层之后，无非还是个矩阵相乘罢了。
神经网络中常见激活函数总结
在多层神经网络中，上一层节点的输出和下一层节点的输入之间具有一个函数关系，这个函数就是激活函数。
如果没有激活函数，再多层数的神经网络也是线性的，这就和原始的感知机一样了。所以激活函数为神经网络引入的非线性，神经网络强大的拟合能力，激活函数起到了举足轻重的作用。这也说明激活函数都是非线性的。
数学表达式：
几何图像：
缺点：
数学表达式：
几何图像：
特点：
相比sigmoid函数，解决了非 zero-centered 问题。但是梯度消失和和幂运算的问题依然存在。
数学表达式：
几何图像：
优点：
缺点：
尽管存在两个问题，但是Relu仍是目前最常用的激活函数。
数学表达式：
Leaky Relu激活函数就是针对Relu的Dead Relu Problem提出的。负半轴是 而不是0， 通常是一个很小的数。
常用激活函数比较
本文结构：
如下图，在神经元中，输入的 inputs 通过加权，求和后，还被作用了一个函数，这个函数就是激活函数 Activation Function。
如果不用激励函数，每一层输出都是上层输入的线性函数，无论神经网络有多少层，输出都是输入的线性组合。
如果使用的话，激活函数给神经元引入了非线性因素，使得神经网络可以任意逼近任何非线性函数，这样神经网络就可以应用到众多的非线性模型中。
公式：
曲线：
也叫 Logistic 函数，用于隐层神经元输出
取值范围为(0,1)
它可以将一个实数映射到(0,1)的区间，可以用来做二分类。
在特征相差比较复杂或是相差不是特别大时效果比较好。
sigmoid缺点：
激活函数计算量大，反向传播求误差梯度时，求导涉及除法
反向传播时，很容易就会出现梯度消失的情况，从而无法完成深层网络的训练
下面解释为何会出现梯度消失：
反向传播算法中，要对激活函数求导，sigmoid 的导数表达式为：
sigmoid 原函数及导数图形如下：
由图可知，导数从 0 开始很快就又趋近于 0 了，易造成“梯度消失”现象
公式
曲线
也称为双切正切函数
取值范围为[-1,1]。
tanh在特征相差明显时的效果会很好，在循环过程中会不断扩大特征效果。
与 sigmoid 的区别是，tanh 是 0 均值的，因此实际应用中 tanh 会比 sigmoid 更好
Rectified Linear Unit(ReLU) - 用于隐层神经元输出
公式
曲线
输入信号 0 时，输出都是0，0 的情况下，输出等于输入
ReLU 的优点：
Krizhevsky et al. 发现使用 ReLU 得到的 SGD 的收敛速度会比 sigmoid/tanh 快很多
ReLU 的缺点：
训练的时候很”脆弱”，很容易就”die”了
例如，一个非常大的梯度流过一个 ReLU 神经元，更新过参数之后，这个神经元再也不会对任何数据有激活现象了，那么这个神经元的梯度就永远都会是 0.
如果 learning rate 很大，那么很有可能网络中的 40% 的神经元都”dead”了。
Softmax - 用于多分类神经网络输出
公式
举个例子来看公式的意思：
就是如果某一个 zj 大过其他 z, 那这个映射的分量就逼近于 1,其他就逼近于 0，主要应用就是多分类。
为什么要取指数，第一个原因是要模拟 max 的行为，所以要让大的更大。
第二个原因是需要一个可导的函数。
Sigmoid 和 ReLU 比较：
sigmoid 的梯度消失问题，ReLU 的导数就不存在这样的问题，它的导数表达式如下：
曲线如图
对比sigmoid类函数主要变化是：
1）单侧抑制
2）相对宽阔的兴奋边界
3）稀疏激活性。
Sigmoid 和 Softmax 区别：
softmax is a generalization of logistic function that “squashes”(maps) a K-dimensional vector z of arbitrary real values to a K-dimensional vector σ(z) of real values in the range (0, 1) that add up to 1.
sigmoid将一个real value映射到（0,1）的区间，用来做二分类。
而 softmax 把一个 k 维的real value向量（a1,a2,a3,a4….）映射成一个（b1,b2,b3,b4….）其中 bi 是一个 0～1 的常数，输出神经元之和为 1.0，所以相当于概率值，然后可以根据 bi 的概率大小来进行多分类的任务。
二分类问题时 sigmoid 和 softmax 是一样的，求的都是 cross entropy loss，而 softmax 可以用于多分类问题
softmax是sigmoid的扩展，因为，当类别数 k＝2 时，softmax 回归退化为 logistic 回归。具体地说，当 k＝2 时，softmax 回归的假设函数为：
利用softmax回归参数冗余的特点，从两个参数向量中都减去向量θ1 ，得到:
最后，用 θ′ 来表示 θ2−θ1，上述公式可以表示为 softmax 回归器预测其中一个类别的概率为
另一个类别概率的为
这与 logistic回归是一致的。
softmax建模使用的分布是多项式分布，而logistic则基于伯努利分布
多个logistic回归通过叠加也同样可以实现多分类的效果，但是 softmax回归进行的多分类，类与类之间是互斥的，即一个输入只能被归为一类；多个logistic回归进行多分类，输出的类别并不是互斥的，即"苹果"这个词语既属于"水果"类也属于"3C"类别。
选择的时候，就是根据各个函数的优缺点来配置，例如：
如果使用 ReLU，要小心设置 learning rate，注意不要让网络出现很多 “dead” 神经元，如果不好解决，可以试试 Leaky ReLU、PReLU 或者 Maxout.
参考资料：
推荐阅读 历史技术博文链接汇总
也许可以找到你想要的
我是 不会停的蜗牛 Alice
85后全职主妇
喜欢人工智能，行动派
创造力，思考力，学习力提升修炼进行中
欢迎您的喜欢，关注和评论！
人工神经网络常用的激活函数有哪些
人工神经网络（Artificial Neural Network，即ANN ），是20世纪80 年代以来人工智能领域兴起的研究热点。它从信息处理角度对人脑神经元网络进行抽象， 建立某种简单模型，按不同的连接方式组成不同的网络。在工程与学术界也常直接简称为神经网络或类神经网络。神经网络是一种运算模型，由大量的节点（或称神经元）之间相互联接构成。每个节点代表一种特定的输出函数，称为激励函数（activation function）。每两个节点间的连接都代表一个对于通过该连接信号的加权值，称之为权重，这相当于人工神经网络的记忆。网络的输出则依网络的连接方式，权重值和激励函数的不同而不同。而网络自身通常都是对自然界某种算法或者函数的逼近，也可能是对一种逻辑策略的表达。
人工智能一些术语总结
随着智能时代慢慢的到来，有一些基本概念都不知道真的是要落伍了，作为正在积极学习向上的青年，我想总结一份笔记，此份笔记会记录众多AI领域的术语和概念，当然，学一部分记录一部分，并且可能会夹杂着自己的一些理解，由于能力有限，有问题希望大家多多赐教。当然，由于内容太多，仅仅只是记录了中英名对照，有的加上了简单的解释，没加的后续大家有需求，我会慢慢完善~~。目录暂定以首字母的字典序排序。可以当作目录方便以后查阅~~建议收藏加点赞哈哈哈
------------------------------------------------这里是分割线--------------------------------------------------
A
准确率（accuracy）
分类模型预测准确的比例。
二分类问题中，准确率定义为：accuracy = (true positives +true negatives)/all samples
多分类问题中，准确率定义为：accuracy = correctpredictions/all samples
激活函数（activation function）
一种函数，将前一层所有神经元激活值的加权和 输入到一个非线性函数中，然后作为下一层神经元的输入，例如 ReLU 或 Sigmoid
AdaGrad
一种复杂的梯度下降算法，重新调节每个参数的梯度，高效地给每个参数一个单独的学习率。
AUC（曲线下面积）
一种考虑到所有可能的分类阈值的评估标准。ROC 曲线下面积代表分类器随机预测真正类（Ture Positives）要比假正类（False Positives）概率大的确信度。
Adversarial example（对抗样本）
Adversarial Networks（对抗网络）
Artificial General Intelligence/AGI（通用人工智能）
Attention mechanism（注意力机制）
Autoencoder（自编码器）
Automatic summarization（自动摘要）
Average gradient（平均梯度）
Average-Pooling（平均池化）
B
反向传播（Backpropagation/BP）
神经网络中完成梯度下降的重要算法。首先，在前向传播的过程中计算每个节点的输出值。然后，在反向传播的过程中计算与每个参数对应的误差的偏导数。
基线（Baseline）
被用为对比模型表现参考的简单模型。
批量（Batch）
模型训练中一个迭代（指一次梯度更新）使用的样本集。
批量大小（Batch size）
一个批量中样本的数量。例如，SGD 的批量大小为 1，而 mini-batch 的批量大小通常在 10-1000 之间。
偏置（Bias）
与原点的截距或偏移量。
二元分类器（Binary classification）
一类分类任务，输出两个互斥类别中的一个。比如垃圾邮件检测。
词袋（Bag of words/Bow）
基学习器（Base learner）
基学习算法（Base learning algorithm）
贝叶斯网络（Bayesian network）
基准（Bechmark）
信念网络（Belief network）
二项分布（Binomial distribution）
玻尔兹曼机（Boltzmann machine）
自助采样法／可重复采样／有放回采样（Bootstrap sampling）
广播（Broadcasting）
C
类别（Class）
所有同类属性的目标值作为一个标签。
分类模型（classification）
机器学习模型的一种，将数据分离为两个或多个离散类别。
收敛（convergence）
训练过程达到的某种状态，其中训练损失和验证损失在经过了确定的迭代次数后，在每一次迭代中，改变很小或完全不变。
凸函数（concex function）
一种形状大致呈字母 U 形或碗形的函数。然而，在退化情形中，凸函数的形状就像一条线。
成本（cost）
loss 的同义词。深度学习模型一般都会定义自己的loss函数。
交叉熵（cross-entropy）
多类别分类问题中对 Log 损失函数的推广。交叉熵量化两个概率分布之间的区别。
条件熵（Conditional entropy）
条件随机场（Conditional random field/CRF）
置信度（Confidence）
共轭方向(Conjugate directions)
共轭分布(Conjugate distribution)
共轭梯度(Conjugate gradient)
卷积神经网络（Convolutional neural network/CNN）
余弦相似度（Cosine similarity）
成本函数（Cost Function）
曲线拟合（Curve-fitting）
D
数据集（data set）
样本的集合
深度模型（deep model）
一种包含多个隐藏层的神经网络。深度模型依赖于其可训练的非线性性质。和宽度模型对照（widemodel）。
dropout 正则化（dropoutregularization）
训练神经网络时一种有用的正则化方法。dropout 正则化的过程是在单次梯度计算中删去一层网络中随机选取的固定数量的单元。删去的单元越多，正则化越强。
数据挖掘（Data mining）
决策树/判定树（Decisiontree）
深度神经网络（Deep neural network/DNN）
狄利克雷分布（Dirichlet distribution）
判别模型（Discriminative model）
下采样（Down sampling）
动态规划（Dynamic programming）
E
早期停止法（early stopping）
一种正则化方法，在训练损失完成下降之前停止模型训练过程。当验证数据集（validationdata set）的损失开始上升的时候，即泛化表现变差的时候，就该使用早期停止法了。
嵌入（embeddings）
一类表示为连续值特征的明确的特征。嵌入通常指将高维向量转换到低维空间中。
经验风险最小化（empirical risk minimization，ERM）
选择能使得训练数据的损失函数最小化的模型的过程。和结构风险最小化（structualrisk minimization）对照。
集成（ensemble）
多个模型预测的综合考虑。可以通过以下一种或几种方法创建一个集成方法：
设置不同的初始化；
设置不同的超参量；
设置不同的总体结构。
深度和广度模型是一种集成。
样本（example）
一个数据集的一行内容。一个样本包含了一个或多个特征，也可能是一个标签。参见标注样本（labeledexample）和无标注样本（unlabeled example）。
F
假负类（false negative，FN）
被模型错误的预测为负类的样本。例如，模型推断一封邮件为非垃圾邮件（负类），但实际上这封邮件是垃圾邮件。
假正类（false positive，FP）
被模型错误的预测为正类的样本。例如，模型推断一封邮件为垃圾邮件（正类），但实际上这封邮件是非垃圾邮件。
假正类率（false positive rate，FP rate）
ROC 曲线（ROC curve）中的 x 轴。FP 率的定义是：假正率=假正类数/(假正类数+真负类数)
特征工程（feature engineering）
在训练模型的时候，挖掘对模型效果有利的特征。
前馈神经网络（Feedforward Neural Networks/FNN ）
G
泛化（generalization）
指模型利用新的没见过的数据而不是用于训练的数据作出正确的预测的能力。
广义线性模型（generalized linear model）
最小二乘回归模型的推广/泛化，基于高斯噪声，相对于其它类型的模型（基于其它类型的噪声，比如泊松噪声，或类别噪声）。广义线性模型的例子包括：
logistic 回归
多分类回归
最小二乘回归
梯度（gradient）
所有变量的偏导数的向量。在机器学习中，梯度是模型函数的偏导数向量。梯度指向最陡峭的上升路线。
梯度截断（gradient clipping）
在应用梯度之前先修饰数值，梯度截断有助于确保数值稳定性，防止梯度爆炸出现。
梯度下降（gradient descent）
通过计算模型的相关参量和损失函数的梯度最小化损失函数，值取决于训练数据。梯度下降迭代地调整参量，逐渐靠近权重和偏置的最佳组合，从而最小化损失函数。
图（graph）
在 TensorFlow 中的一种计算过程展示。图中的节点表示操作。节点的连线是有指向性的，表示传递一个操作（一个张量）的结果（作为一个操作数）给另一个操作。使用 TensorBoard 能可视化计算图。
高斯核函数（Gaussian kernel function）
高斯混合模型（Gaussian Mixture Model）
高斯过程（Gaussian Process）
泛化误差（Generalization error）
生成模型（Generative Model）
遗传算法（Genetic Algorithm/GA）
吉布斯采样（Gibbs sampling）
基尼指数（Gini index）
梯度下降（Gradient Descent）
H
启发式（heuristic）
一个问题的实际的和非最优的解，但能从学习经验中获得足够多的进步。
隐藏层（hidden layer）
神经网络中位于输入层（即特征）和输出层（即预测）之间的合成层。一个神经网络包含一个或多个隐藏层。
超参数（hyperparameter）
连续训练模型的过程中可以拧动的「旋钮」。例如，相对于模型自动更新的参数，学习率（learningrate）是一个超参数。和参量对照。
硬间隔（Hard margin）
隐马尔可夫模型（Hidden Markov Model/HMM）
层次聚类（Hierarchical clustering）
假设检验（Hypothesis test）
I
独立同分布（independently and identicallydistributed，i.i.d）
从不会改变的分布中获取的数据，且获取的每个值不依赖于之前获取的值。i.i.d. 是机器学习的理想情况——一种有用但在现实世界中几乎找不到的数学构建。
推断（inference）
在机器学习中，通常指将训练模型应用到无标注样本来进行预测的过程。在统计学中，推断指在观察到的数据的基础上拟合分布参数的过程。
输入层（input layer）
神经网络的第一层（接收输入数据）。
评分者间一致性（inter-rater agreement）
用来衡量一项任务中人类评分者意见一致的指标。如果意见不一致，则任务说明可能需要改进。有时也叫标注者间信度（inter-annotator agreement）或评分者间信度（inter-raterreliability）。
增量学习（Incremental learning）
独立成分分析（Independent Component Analysis/ICA）
独立子空间分析（Independent subspace analysis）
信息熵（Information entropy）
信息增益（Information gain）
J
JS 散度（Jensen-ShannonDivergence/JSD）
K
Kernel 支持向量机（KernelSupport Vector Machines/KSVM）
一种分类算法，旨在通过将输入数据向量映射到更高维度的空间使正类和负类之间的边际最大化。例如，考虑一个输入数据集包含一百个特征的分类问题。为了使正类和负类之间的间隔最大化，KSVM 从内部将特征映射到百万维度的空间。KSVM 使用的损失函数叫作 hinge 损失。
核方法（Kernel method）
核技巧（Kernel trick）
k 折交叉验证／k 倍交叉验证（K-fold cross validation）
K - 均值聚类（K-MeansClustering）
K近邻算法（K-Nearest NeighboursAlgorithm/KNN）
知识图谱（Knowledge graph）
知识库（Knowledge base）
知识表征（Knowledge Representation）
L
L1 损失函数（L1 loss）
损失函数基于模型对标签的预测值和真实值的差的绝对值而定义。L1 损失函数比起 L2 损失函数对异常值的敏感度更小。
L1 正则化（L1regularization）
一种正则化，按照权重绝对值总和的比例进行惩罚。在依赖稀疏特征的模型中，L1 正则化帮助促使（几乎）不相关的特征的权重趋近于 0，从而从模型中移除这些特征。
L2 损失（L2 loss）
参见平方损失。
L2 正则化（L2regularization）
一种正则化，按照权重平方的总和的比例进行惩罚。L2 正则化帮助促使异常值权重更接近 0 而不趋近于 0。（可与 L1 正则化对照阅读。）L2 正则化通常改善线性模型的泛化效果。
标签（label）
在监督式学习中，样本的「答案」或「结果」。标注数据集中的每个样本包含一或多个特征和一个标签。在垃圾邮件检测数据集中，特征可能包括主题、发出者何邮件本身，而标签可能是「垃圾邮件」或「非垃圾邮件」。
标注样本（labeled example）
包含特征和标签的样本。在监督式训练中，模型从标注样本中进行学习。
学习率（learning rate）
通过梯度下降训练模型时使用的一个标量。每次迭代中，梯度下降算法使学习率乘以梯度，乘积叫作 gradient step。学习率是一个重要的超参数。
最小二乘回归（least squares regression）
通过 L2 损失最小化进行训练的线性回归模型。
线性回归（linear regression）
对输入特征的线性连接输出连续值的一种回归模型。
logistic 回归（logisticregression）
将 sigmoid 函数应用于线性预测，在分类问题中为每个可能的离散标签值生成概率的模型。尽管 logistic 回归常用于二元分类问题，但它也用于多类别分类问题（这种情况下，logistic回归叫作「多类别 logistic 回归」或「多项式 回归」。
对数损失函数（Log Loss）
二元 logistic 回归模型中使用的损失函数。
损失（Loss）
度量模型预测与标签距离的指标，它是度量一个模型有多糟糕的指标。为了确定损失值，模型必须定义损失函数。例如，线性回归模型通常使用均方差作为损失函数，而 logistic 回归模型使用对数损失函数。
隐狄利克雷分布（Latent Dirichlet Allocation/LDA）
潜在语义分析（Latent semantic analysis）
线性判别（Linear Discriminant Analysis/LDA）
长短期记忆（Long-Short Term Memory/LSTM）
M
机器学习（machine learning）
利用输入数据构建（训练）预测模型的项目或系统。该系统使用学习的模型对与训练数据相同分布的新数据进行有用的预测。机器学习还指与这些项目或系统相关的研究领域。
均方误差（Mean Squared Error/MSE）
每个样本的平均平方损失。MSE 可以通过平方损失除以样本数量来计算。
小批量（mini-batch）
在训练或推断的一个迭代中运行的整批样本的一个小的随机选择的子集。小批量的大小通常在10 到 1000 之间。在小批量数据上计算损失比在全部训练数据上计算损失要高效的多。
机器翻译（Machine translation/MT）
马尔可夫链蒙特卡罗方法（Markov Chain Monte Carlo/MCMC）
马尔可夫随机场（Markov Random Field）
多文档摘要（Multi-document summarization）
多层感知器（Multilayer Perceptron/MLP）
多层前馈神经网络（Multi-layer feedforward neuralnetworks）
N
NaN trap
训练过程中，如果模型中的一个数字变成了 NaN，则模型中的很多或所有其他数字最终都变成 NaN。NaN 是「Not aNumber」的缩写。
神经网络（neural network）
该模型从大脑中获取灵感，由多个层组成（其中至少有一个是隐藏层），每个层包含简单的连接单元或神经元，其后是非线性。
神经元（neuron）
神经网络中的节点，通常输入多个值，生成一个输出值。神经元通过将激活函数（非线性转换）应用到输入值的加权和来计算输出值。
归一化（normalization）
将值的实际区间转化为标准区间的过程，标准区间通常是-1 到+1 或 0 到 1。例如，假设某个特征的自然区间是 800 到 6000。通过减法和分割，你可以把那些值标准化到区间-1 到+1。参见缩放。
Numpy
Python 中提供高效数组运算的开源数学库。pandas 基于 numpy 构建。
Naive bayes（朴素贝叶斯）
Naive Bayes Classifier（朴素贝叶斯分类器）
Named entity recognition（命名实体识别）
Natural language generation/NLG（自然语言生成）
Natural language processing（自然语言处理）
Norm（范数）
O
目标（objective）
算法尝试优化的目标函数。
one-hot 编码（独热编码）（one-hotencoding）
一个稀疏向量，其中：一个元素设置为 1，所有其他的元素设置为 0。。
一对多（one-vs.-all）
给出一个有 N 个可能解决方案的分类问题，一对多解决方案包括 N 个独立的二元分类器——每个可能的结果都有一个二元分类器。例如，一个模型将样本分为动物、蔬菜或矿物，则一对多的解决方案将提供以下三种独立的二元分类器：
动物和非动物
蔬菜和非蔬菜
矿物和非矿物
过拟合（overfitting）
创建的模型与训练数据非常匹配，以至于模型无法对新数据进行正确的预测
Oversampling（过采样）
P
pandas
一种基于列的数据分析 API。很多机器学习框架，包括 TensorFlow，支持 pandas 数据结构作为输入。参见 pandas 文档。
参数（parameter）
机器学习系统自行训练的模型的变量。例如，权重是参数，它的值是机器学习系统通过连续的训练迭代逐渐学习到的。注意与超参数的区别。
性能（performance）
在软件工程中的传统含义：软件运行速度有多快／高效？
在机器学习中的含义：模型的准确率如何？即，模型的预测结果有多好？
困惑度（perplexity）
对模型完成任务的程度的一种度量指标。例如，假设你的任务是阅读用户在智能手机上输入的单词的头几个字母，并提供可能的完整单词列表。该任务的困惑度（perplexity，P）是为了列出包含用户实际想输入单词的列表你需要进行的猜测数量。
流程（pipeline）
机器学习算法的基础架构。管道包括收集数据、将数据放入训练数据文件中、训练一或多个模型，以及最终输出模型。
Principal component analysis/PCA（主成分分析）
Precision（查准率／准确率）
Prior knowledge（先验知识）
Q
Quasi Newton method（拟牛顿法）
R
召回率（recall）
回归模型（regression model）
一种输出持续值（通常是浮点数）的模型。而分类模型输出的是离散值。
正则化（regularization）
对模型复杂度的惩罚。正则化帮助防止过拟合。正则化包括不同种类：
L1 正则化
L2 正则化
dropout 正则化
early stopping（这不是正式的正则化方法，但可以高效限制过拟合）
正则化率（regularization rate）
一种标量级，用 lambda 来表示，指正则函数的相对重要性。从下面这个简化的损失公式可以看出正则化率的作用：
minimize(loss function + λ(regularization function))
提高正则化率能够降低过拟合，但可能会使模型准确率降低。
表征（represention）
将数据映射到有用特征的过程。
受试者工作特征曲线（receiver operatingcharacteristic/ROC Curve）
反映在不同的分类阈值上，真正类率和假正类率的比值的曲线。参见 AUC。
Recurrent Neural Network（循环神经网络）
Recursive neural network（递归神经网络）
Reinforcement learning/RL（强化学习）
Re-sampling（重采样法）
Representation learning（表征学习）
Random Forest Algorithm（随机森林算法）
S
缩放（scaling）
特征工程中常用的操作，用于控制特征值区间，使之与数据集中其他特征的区间匹配。例如，假设你想使数据集中所有的浮点特征的区间为 0 到 1。给定一个特征区间是 0 到 500，那么你可以通过将每个值除以 500，缩放特征值区间。还可参见正则化。
scikit-learn
一种流行的开源机器学习平台。网址：。
序列模型（sequence model）
输入具有序列依赖性的模型。例如，根据之前观看过的视频序列对下一个视频进行预测。
Sigmoid 函数（sigmoid function）
softmax
为多类别分类模型中每个可能的类提供概率的函数。概率加起来的总和是 1.0。例如，softmax 可能检测到某个图像是一只狗的概率为 0.9，是一只猫的概率为 0.08，是一匹马的概率为 0.02。（也叫作 full softmax）。
结构风险最小化（structural risk minimization/SRM）
这种算法平衡两个目标：
构建预测性最强的模型（如最低损失）。
使模型尽量保持简单（如强正则化）。
比如，在训练集上的损失最小化 + 正则化的模型函数就是结构风险最小化算法。更多信息，参见 。可与经验风险最小化对照阅读。
监督式机器学习（supervised machine learning）
利用输入数据及其对应标签来训练模型。监督式机器学习类似学生通过研究问题和对应答案进行学习。在掌握问题和答案之间的映射之后，学生就可以提供同样主题的新问题的答案了。可与非监督机器学习对照阅读。
Similarity measure（相似度度量）
Singular Value Decomposition（奇异值分解）
Soft margin（软间隔）
Soft margin maximization（软间隔最大化）
Support Vector Machine/SVM（支持向量机）
T
张量（tensor）
TensorFlow 项目的主要数据结构。张量是 N 维数据结构（N 的值很大），经常是标量、向量或矩阵。张量可以包括整数、浮点或字符串值。
Transfer learning（迁移学习）
U
无标签样本（unlabeled example）
包含特征但没有标签的样本。无标签样本是推断的输入。在半监督学习和无监督学习的训练过程中，通常使用无标签样本。
无监督机器学习（unsupervised machine learning）
训练一个模型寻找数据集（通常是无标签数据集）中的模式。无监督机器学习最常用于将数据分成几组类似的样本。无监督机器学习的另一个例子是主成分分析（principal componentanalysis，PCA）
W
Word embedding（词嵌入）
Word sense disambiguation（词义消歧）
结语：以上就是首席CTO笔记为大家介绍的关于人工智能中激活函数有什么的全部内容了，希望对大家有所帮助，如果你还想了解更多这方面的信息，记得收藏关注本站。