2016 年 8 月,英特尔为了加强其人工智能领域的能力,以 4 亿美元的天价收购了机器学习初创公司 Nervana 。该初创公司成立仅仅两年,却被公认为是机器学习技术开发的领导者。近日,Nervana 的联合创始人兼首席执行官 Naveen Rao 博士在 StrataHadoop 上和大家深入探讨了深度学习的话题,通过其PPT,我们也能了解Nervana价值所在。
Naveen 探索了许多方面,包括深度学习相对于其他机器学习技术的好处、该领域的最新进展、深入学习工作流程、开发和部署深度学习解决方案的挑战、用于构建和扩展深度学习解决方案的标准化的工具等等。
不同于大家以往的认知,深度学习究竟是什么呢?这是一种模仿人脑机制分析数据的机器学习方法,从多层抽象中抓取特征。我们认为真正重要的是从数据中提取有用的信息,并通过统计信息作出判断。我们拥有数据科学领域内的权威专家,通过庞大的数据量提高学习性能,最终获得高度具象化的能力。
这种能力是非常强大的,类似于过去二十到二十五年间计算机对于人类的意义。在短短的两年内,深度学习这种新方法就被广泛地应用于工业中了,包括通信、语音处理、图像识别以及视频处理等等,其中大量的数据都可以被人们利用,所以我认为未来的前景是非常光明的。
深度学习的模型有很多,但基本结构都各不相同,可能会导致这些模型具有不同的特性。这里我很快和大家一起回顾一下这些常见的深度模型。
左上角的模型是目前最常用的卷积神经网络(CNN)模型,非常适用于视觉系统和图像分析。右上角的模型是复发性神经网络(RNN)则适用于各种基于时间或序列的建模。金融系统和语言模型通常使用 RNN。其他非主流的方法还有很多,比如下方的这三种:堆叠自动编码器,多层感知器(MLP)和深信度网络(DBN)。未来五年的很多创新将来自堆叠自动编码器领域,但目前我们还不知道要如何开始选取目标。
这里我们可以看到一些真实的实验结果,这个系统通过抽象化实体,提取出丰富的代表性特征,这才是我们真正的力量来源,并且其抗干扰能力很好,无法被轻易改变。
这个的意义在于,可以自动处理以往需要人工完成的任务。我们也做了一些测试,让大家可以看到其性能。目前,训练有素的人类通常错误率为 5%,而深度学习在图像和语音任务中的错误率仅为 3%。因此,我们相信几年后,深度学习在这两方面的能力甚至会远远超越人类。
这是一个深度信用网络,我们看下是如何利用它来解决数据问题。这个系统有两种使用方式:第一种是我们可以输入一些数字对应的手写样式,系统可以利用这些数据样本判断出是哪个对应数字;第二种是我们给定某个数字,系统可以模拟出其对应的各种可能的手写样式。
比如这里,系统根据一系列“5”的手写体判断出这是数字“5”。
再比如这里,当我们输入数字“0”,系统经过一系列手写体样式处理,会实时地显示各种形态各异的“0”,但毫无疑问,从视觉上大家还是可以判断出这是数字“0”。
这是非常有趣的一件事,这意味着我们可以输入一系列实例,从中抽象出具体的共同特征。
这个深度学习平台实现了针对行为探测的 3D 卷积模型,基于 100 种类别、1 万 3 千多个视频的公共数据集,使训练速度比竞争对手的框架快了大约 3 倍。同时,该平台也能扩展到其他场景、对象的识别,行为相似度平行对比,视频检索和异常检测。
其潜在应用包括:在机场或地铁站等乘客密集的场所实施安全监控、交通管制及车辆管理、航空管制侦测、基于面部识别和图像处理的安全系统检索功能、自动驾驶的感知和防撞系统、公共场所的行李检测等等。
语音可以看做是一个个单词的随机组合,所以要将语音转变为文字是很困难的。但是,经过大量的训练,系统也可以识别出大部分的单词。深度学习在语音-文本转换中的表现同样令人印象深刻,诸如百度等等公司的自然语言处理技术已经非常成熟,可以根据需要转换成任何一种语言文字,这就如同魔法一样神奇。
如同历史发展的必然规律,当达到某个拐点后会突然爆发,现在就处于数据科学的拐点处,利用深度学习实现对数据的最大化利用。
CPU 的训练时间是单个 GPU 的三十多倍。
数据并行是最常用的方式之一,每个处理器中都有一个全深度网络,将各个数据容器中的参数统一协调至参数服务器中。但是这并不是最好的方式。
一个更好的方式是模型并行计算,如图所示。
Nervana 的另一个优势在于 I/O 范围。通常处理器越多,深度学习的速度就越快。但是普通的工业系统随着处理器数目的增多,学习速度会达到某个极限值而不再增加。而 Nervana 平台不光能提高单个处理器的学习速度,而且还没有学习速度的上限,可以根据需要不断增加处理器个数。
我们仍在继续努力研发新的技术,力争明年能将现有速度提升十倍以上。
Nervana 平台是一个全栈式解决方案,基于 Nervana 深度学习框架平台和 Nervana 云,实现输入、构造、训练和部署。
深度学习作为 Nervana 的核心竞争力,已经围绕其构建了图像分类、目标定位、视频检索、文本分析、机器翻译等功能。
Nervana 拥有最快的深度学习库。
Nervana 的 Python 深度学习库界面友好,可扩展性强,支持多种深度学习模型,并且提供连接 Nervana 云的接口,还支持多后台(包括Nervana 引擎、 GPU 和 CPU)。
这是系统的网络界面,Nervana 为用户提供了大量可以直接调用的 API。
深度学习的作用在于建立一个发现数据中有用信息的框架,但要使这个框架平台运行速度更快、处理规模更大、解决方案涵盖面更广,仍然有很多困难。
Nervana 目前拥有最先进的深度学习平台,非常便于利用开发出的相关工具,从复杂关系中抽象出有代表性的目标特征。除了之前提过的各种应用外,还可以用于快速定位石油井、天然气田,以及农业精细化运营等。
via NextBigFuture
推荐阅读:
量子的飞跃:下一代D-Wave量子芯片计算速度能快1000倍
最新出炉——数据科学家最常使用的十大算法
本文作者:陈杨英杰
本文转自雷锋网禁止二次转载,原文链接
相关资源:七夕情人节表白HTML源码(两款)