机器学习 - 神经网络.pdf

机器学习 第6章 神经网络 复旦大学 赵卫东 博士 wdzhao@ 章节介绍 • 人工神经网络(Artificial Neural Netork, 即ANN)是由简单神经元经过相互连接 形成网状结构，通过调节各连接的权重值改变连接的强度，进而实现感知 判断 • 反向传播(Back Propagation, BP) 算法的提出进一步推动了神经网络的发展。 目前，神经网络作为一种重要的数据挖掘方法，已在医学诊断、信用卡欺 诈识别、手写数字识别以及发动机的故障诊断等领域得到了广泛的应用 • 本章将介绍神经网络基本分类，包括前馈神经网络、反馈神经网络、自组 织神经网络等常用的神经网络模型。重点介绍神经网络的概念和基本原理 ，为后续深度学习章节的学习打下基础 章节结构 • 神经网络介绍 – 前馈神经网络 – 反馈神经网络 – 自组织神经网络 • 神经网络相关概念 – 激活函数 – 损失函数 – 学习率 – 过拟合 – 模型训练中的问题 – 神经网络效果评价 • 神经网络的应用 神经网络介绍 • 传统神经网络结构比较简单，训练时随机初始化输入参数，并开启循环计 算输出结果，与实际结果进行比较从而得到损失函数，并更新变量使损失 函数结果值极小，当达到误差阈值时即可停止循环 • 神经网络的训练目的是希望能够学习到一个模型，实现输出一个期望的目 标值。学习的方式是在外界输入样本的刺激下不断改变网络的连接权值。 传统神经网络主要分为一下几类：前馈型神经网络，反馈型神经网络和自 组织神经网络。这几类网络具有不同的学习训练算法，可以归结为监督型 学习算法和非监督型学习算法 议程前馈神经网络 • 前馈神经网络(Feed Forward Neural Network) 是一种单向多层的网络结构， 即信息是从输入层开始，逐层向一个方向传递，一直到输出层结束。所谓 的“前馈”是指输入信号的传播方向为前向，在此过程中并不调整各层的 权值参数，而反传播时是将误差逐层向后传递，从而实现使用权值参数对 特征的记忆，即通过反向传播(BP) 算法来计算各层网络中神经元之间边的 权重。BP算法具有非线性映射能力，理论上可逼近任意连续函，从而实现 对模型的学习 议程 感知器 • 感知器是一种结构最简单的前馈神经网络，也称为感知机，它主要用于求 解分类问题 • 一个感知器可以接收个输入=(, ,…, )，对应个权值 1 2 =(,,…, )，此外还有一个偏置项阈值，就是图中的，神经元将所 1 2 有输入参数与对应权值进行加权求和，得到的结果经过激活函数变换后输 出，计算公式如下： = ∗+ x1 w1 x2 t w2 SUM f …… wn xn b