一、什么是机器学习

 机器学习是一种数据分析技术，教计算机执行人和动物与生俱来的活动：从经验中学习。机器学习算法使用计算方法直接从数据中“学习”信息，而不依赖于预定方程模型。当可用于学习的样本数量增加时，这些算法可自适应提高性能。

二、机器学习应用场景

随着大数据应用增加，机器学习已经成为解决以下领域问题的一项关键技术：

计算金融学，用于信用评估和算法交易
图像处理和计算机视觉，用于人脸识别、运动检测和对象检测
计算生物学，用于肿瘤检测、药物发现和 DNA 序列分析
能源生产，用于预测价格和负载
汽车、航空航天和制造业，用于预见性维护
自然语言处理，用于语音识别应用

三、机器学习的分类

        从学习的种类来说，机器学习习惯分为两种。一种叫无监督学习，一种叫有监督学习。 
所谓“无监督学习”，是指人们在获得训练的向量数据后在没有标签的情况下尝试找出其内部蕴含关系的一种挖掘工作，在这个过程中，不需要对这些样本做任何的标记或者是干预。”有监督学习“与此不同，每一个样本数据都要有标签，最后我们只要总结出这些训练样本与标签的映射关系。

1、监督式学习

监督式机器学习能够根据已有的包含不确定性的数据建立一个预测模型。监督式学习算法接受已知的输入数据集（包含预测变量）和对该数据集的已知响应（输出，响应变量），然后训练模型，使模型能够对新输入数据的响应做出合理的预测。如果您尝试去预测已知数据的输出，则使用监督式学习。

       监督式学习采用分类和回归技术开发预测模型。

       分类技术可预测离散的响应 — 例如，电子邮件是不是垃圾邮件，肿瘤是恶性还是良性的。分类模型可将输入数据划分成不同类别。典型的应用包括医学成像、语音识别和信用评估。

       如果您的数据能进行标记、分类或分为特定的组或类，则使用分类。例如，笔迹识别的应用程序使用分类来识别字母和数字。在图像处理和计算机视觉中，无监督模式识别技术用于对象检测和图像分割。

       用于实现分类的常用算法包括：支持向量机 (SVM)、提升 (boosted) 决策树和袋装 (bagged) 决策树、k-最近邻、朴素贝叶斯 (Naïve Bayes)、判别分析、逻辑回归和神经网络。

       回归技术可预测连续的响应 — 例如，温度的变化或电力需求中的波动。典型的应用包括电力系统负荷预测和算法交易。

       如果您在处理一个数据范围，或您的响应性质是一个实数（比如温度，或一件设备发生故障前的运行时间），则使用回归方法。

       常用回归算法包括：线性模型、非线性模型、规则化、逐步回归、提升 (boosted) 和袋装 (bagged) 决策树、神经网络和自适应神经模糊学习。

应用示例：使用监督式学习预测心脏病发作
      假设临床医生希望预测某位患者在一年内是否会心脏病发作。他们有以前就医的患者的相关数据，包括年龄、体重、身高和血压。他们知道以前的患者在一年内是否出现过心脏病发作。因此，问题在于如何将现有数据合并到模型中，让该模型能够预测新患者在一年内是否会出现心脏病发作。
 

2、无督式学习

 无监督学习可发现数据中隐藏的模式或内在结构。这种技术可根据未做标记的输入数据集执行推理。

       聚类是一种最常用的无监督学习技术。这种技术可通过探索性数据分析发现数据中隐藏的模式或分组。聚类分析的应用包括基因序列分析、市场调查和对象识别。

       例如，如果移动电话公司想优化他们手机信号塔的建立位置，则可以使用机器学习来估算依赖这些信号塔的人群数量。一部电话一次只能与一个信号塔通信，所以，该团队使用聚类算法设计蜂窝塔的最佳布局，优化他们的客户群组或集群的信号接收。

        用于执行聚类的常用算法包括：k-均值和 k-中心点（k-medoids）、层次聚类、高斯混合模型、隐马尔可夫模型、自组织映射、模糊 c-均值聚类法和减法聚类。

四、如何确定使用哪种机器学习算法

       选择正确的算法看似难以驾驭——需要从几十种监督式和无监督机器学习算法中选择，每种算法又包含不同的学习方法。没有最佳方法或万全之策。找到正确的算法只是试错过程的一部分——即使是经验丰富的数据科学家，也无法说出某种算法是否无需试错即可使用。但算法的选择还取决于您要处理的数据的大小和类型、您要从数据中获得的洞察力以及如何运用这些洞察力

下面是选择监督式或者无监督机器学习的一些准则：

      在以下情况下选择监督式学习：您需要训练模型进行预测（例如温度和股价等连续变量的值）或者分类（例如根据网络摄像头的录像片段确定汽车的技术细节）。
      在以下情况下选择无监督学习：您需要深入了解数据并希望训练模型找到好的内部表示形式，例如将数据拆分到集群中。
五、机器学习工作方式

①选择数据：将你的数据分成三组：训练数据、验证数据和测试数据

②模型数据：使用训练数据来构建使用相关特征的模型

③验证模型：使用你的验证数据接入你的模型

④测试模型：使用你的测试数据检查被验证的模型的表现

⑤使用模型：使用完全训练好的模型在新数据上做预测

⑥调优模型：使用更多数据、不同的特征或调整过的参数来提升算法的性能表现

六、机器学习算法分类

PS：五大流派

①符号主义：使用符号、规则和逻辑来表征知识和进行逻辑推理，最喜欢的算法是：规则和决策树

②贝叶斯派：获取发生的可能性来进行概率推理，最喜欢的算法是：朴素贝叶斯或马尔可夫

③联结主义：使用概率矩阵和加权神经元来动态地识别和归纳模式，最喜欢的算法是：神经网络

④进化主义：生成变化，然后为特定目标获取其中最优的，最喜欢的算法是：遗传算法

⑤Analogizer：根据约束条件来优化函数（尽可能走到更高，但同时不要离开道路），最喜欢的算法是：支持向量机

1. 决策树（Decision Tree）：在进行逐步应答过程中，典型的决策树分析会使用分层变量或决策节点，例如，可将一个给定用户分类成信用可靠或不可靠。

• 优点：擅长对人、地点、事物的一系列不同特征、品质、特性进行评估

• 场景举例：基于规则的信用评估、赛马结果预测

• 扩展阅读：《教程 | 从头开始：用Python实现决策树算法》、《想了解概率图模型？你要先理解图论的基本定义与形式》

2. 支持向量机（Support Vector Machine）：基于超平面（hyperplane），支持向量机可以对数据群进行分类。

• 优点：支持向量机擅长在变量 X 与其它变量之间进行二元分类操作，无论其关系是否是线性的

• 场景举例：新闻分类、手写识别。

• 扩展阅读：《干货 | 详解支持向量机（附学习资源）》

3. 回归（Regression）：回归可以勾画出因变量与一个或多个因变量之间的状态关系。在这个例子中，将垃圾邮件和非垃圾邮件进行了区分。

• 优点：回归可用于识别变量之间的连续关系，即便这个关系不是非常明显

• 场景举例：路面交通流量分析、邮件过滤

4. 朴素贝叶斯分类（Naive Bayes Classification）：朴素贝叶斯分类器用于计算可能条件的分支概率。每个独立的特征都是「朴素」或条件独立的，因此它们不会影响别的对象。例如，在一个装有共 5 个黄色和红色小球的罐子里，连续拿到两个黄色小球的概率是多少？从图中最上方分支可见，前后抓取两个黄色小球的概率为 1/10。朴素贝叶斯分类器可以计算多个特征的联合条件概率。

• 优点：对于在小数据集上有显著特征的相关对象，朴素贝叶斯方法可对其进行快速分类

• 场景举例：情感分析、消费者分类

5. 隐马尔可夫模型（Hidden Markov model）：显马尔可夫过程是完全确定性的——一个给定的状态经常会伴随另一个状态。交通信号灯就是一个例子。相反，隐马尔可夫模型通过分析可见数据来计算隐藏状态的发生。随后，借助隐藏状态分析，隐马尔可夫模型可以估计可能的未来观察模式。在本例中，高或低气压的概率（这是隐藏状态）可用于预测晴天、雨天、多云天的概率。

• 优点：容许数据的变化性，适用于识别（recognition）和预测操作

• 场景举例：面部表情分析、气象预测

6. 随机森林（Random forest）：随机森林算法通过使用多个带有随机选取的数据子集的树（tree）改善了决策树的精确性。本例在基因表达层面上考察了大量与乳腺癌复发相关的基因，并计算出复发风险。

• 优点：随机森林方法被证明对大规模数据集和存在大量且有时不相关特征的项（item）来说很有用

• 场景举例：用户流失分析、风险评估

• 扩展阅读：《教程 | 从头开始：用 Python 实现随机森林算法》

7. 循环神经网络（Recurrent neural network）：在任意神经网络中，每个神经元都通过 1 个或多个隐藏层来将很多输入转换成单个输出。循环神经网络（RNN）会将值进一步逐层传递，让逐层学习成为可能。换句话说，RNN 存在某种形式的记忆，允许先前的输出去影响后面的输入。

• 优点：循环神经网络在存在大量有序信息时具有预测能力

• 场景举例：图像分类与字幕添加、政治情感分析

8. 长短期记忆（Long short-term memory，LSTM）与门控循环单元神经网络（gated recurrent unit nerual network）：早期的 RNN 形式是会存在损耗的。尽管这些早期循环神经网络只允许留存少量的早期信息，新近的长短期记忆（LSTM）与门控循环单元（GRU）神经网络都有长期与短期的记忆。换句话说，这些新近的RNN 拥有更好的控制记忆的能力，允许保留早先的值或是当有必要处理很多系列步骤时重置这些值，这避免了「梯度衰减」或逐层传递的值的最终 degradation。LSTM 与 GRU 网络使得我们可以使用被称为「门（gate）」的记忆模块或结构来控制记忆，这种门可以在合适的时候传递或重置值。

• 优点：长短期记忆和门控循环单元神经网络具备与其它循环神经网络一样的优点，但因为它们有更好的记忆能力，所以更常被使用

• 场景举例：自然语言处理、翻译

• 扩展阅读：《深度 | LSTM 和递归网络基础教程》和《干货 | 图解 LSTM 神经网络架构及其 11 种变体（附论文）》

9. 卷积神经网络（convolutional neural network）：卷积是指来自后续层的权重的融合，可用于标记输出层。

• 优点：当存在非常大型的数据集、大量特征和复杂的分类任务时，卷积神经网络是非常有用的

• 场景举例：图像识别、文本转语音、药物发现

• 扩展阅读：《专栏 | 卷积神经网络简介》、《从入门到精通：卷积神经网络初学者指南》和《解析深度卷积神经网络的 14 种设计模式》