普适智能和普适学习的变革.pptx

普适智能和普适学习:智能革命和智能经济的引擎Pervasive Intelligence and Pervasive Learning:Enabling Intelligent Revolution and Intelligent Economy历史进程：人工智能和机器学习的三浪发展1950s- 1980s2010- 现在1980s- 2010预热特点：计算机能力有限，没有 有效算法，没有足够多的数据 形势：华人创造性地把计算机 翻译成电脑，是巧合、梦想还 是预见？数据/产业驱动研究驱动特点：计算机功能足够强大， 开发出许多算法，许多情况下 没有足够多的数据形势：少工业产业驱动，研究 更多的来自研究人员和学术界的自发自我追求特点：计算机功能足够强大，处处 是智能传感器和智能单元， 数据超 大，有效算法逐步推进人类从此也变 成了一个“超级智能传感器”形势：不管人们信不信，人们只能愈来愈依赖人工智能和机器学习；相 比于“农业革命”和“工业革命”， “智能革命”影响更大、更深远历史进程：三大革命智能指数????(??)还处于“智能”时代的底部酝 酿期， “智能”大爆发的前夜 农业革命几万年前 工业革命几百年前 智能革命几年前（始自2010年）年代机器学习时代的必要条件高效的计 算环境高效的学 习算法丰富动态的数据自从2010年开始这三个必要条件已经同时满足, 虽然还处在及其 初级阶段，还在不断发展提高， 但这并不影响广泛应用和需求（人工/生物）神经网络的理论人工神经网络应用的（存在性）理论基础–万能逼近能力定理（Universal Approximation capability） [Leshno 1993, Park and Sandberg 1991, Chen, et al 1995]: 任何连续目标函数可以用前馈神经网络以任意小的误差近似逼近。–分类能力定理（Classification capability） [Huang, et al 2000]：任何理论上可以分开的目标都可以用人工（前馈）神经网络加以分开。–次优学习定理（Suboptimal learning）：SVM（支持向量机）提供次优学习解[Huang, et al 2012]，Kernel（核）函数不必是黑箱，可以通过随机特征影射透明化[Huang, et al 2012] 。生物神经网络的理论基础–（机器或生物）学习可以不需要调整隐层节点（超限学习机ELM学习理论）：给定任何连续目 标函数或可分类目标，只要前馈神经的隐层节点是非线性阶段连续的，神经网络无需调整隐层 节点就能任意逼近目标连续函数或对分类目标加以分类, 首次理论证明SVM提供的是次优学习 方法。 [Huang, et al 2004, 2006, 2007, 2012] 。再思考人工智能和机器学习的内涵和发展趋势机器学习 人工智能传统观点：机器学习是人工智 能的一个子集事实是：未来人工智能和机器 学习紧密相关、有叠加但不一 样2012年ELM学习机 制在动物脑中发现神经网络的复兴几乎所有的深度学习算 法(包括CNN, BP等)都在1980s~1990s提出的人工智能诞生人工智能冬天(1970s)2004年诞生超限学习机（ELMs） 由于高性能计算机和大数据的出现深 度学习在2004年复兴现在年代1950s1970s 1980s2010再思考人工智能和机器学习的内涵和发展趋势人工智能和机器学习是两个有重 叠、相互推进又不同的范畴。智能时代的代表不只是数据大!!未来机器智能不一定属于人工智能AI: Artificial Intelligence 人工智能 ML: Machine Learning 机器学习 DL: Deep Learning 深度学习ELM: Extreme Learning Machines 超限学习机BL: Biological Learning 生物学习趋势1：云端智能和本地智能的有机融合深度学习相对学习能力ELMSVM数据大而复杂 云端数据小或特征复杂度不高 终端趋势1：云端智能和本地智能的有机融合云端智能Cloud Intelligence深度学习等长反馈 高计算强度高功耗新的一波人工智能技术的 爆发点：本地智能与云端 智能的有机融合合同协作低计算强度低延时超限学习机等Local Intelligence本地智能低功耗趋势2：云端智能的同步协同机器学习算法本身不再依赖于GPU的支撑，但GPU等却可以实现众 多智能系统在云端的同步协同单元功耗 计算强度出现专门为机器学习 定制的云计算单元（TPU云 + GPU云)机器学习算法实现 平台逐渐的转向了 并行计算能力更加 强大的GPU光子芯片FPGA智能芯片机器学习算法实 现主要依赖PC端CPU的计算能力TPU云神经形态芯片