您的位置:沭阳网单机麻将四人破解版 > 科技频道 > 人物聚焦>正文

免费四人单机无网麻:深度学习的重新思考克服了AI行业的主要障碍

2020-03-06 11:59:42    来源:    我来说两句()
字号:TT

单机麻将四人破解版 www.rxvx.com.cn  赖斯大学的计算机科学家通过证明无需专门的加速硬件(如图形处理单元(GPU))就可以加速深度学习技术,从而克服了新兴的人工智能行业的主要障碍。

赖斯的计算机科学家在英特尔合作者的支持下,今天将在奥斯丁会议中心展示其研究结果,这是机器学习系统大会MLSys的一部分。

许多公司都在GPU和其他专用硬件上进行了大量投资,以实现深度学习,这是一种强大的人工智能形式,其背后是Alexa和Siri,面部识别,产品推荐系统和其他技术等数字助理。例如,业界黄金标准的Tesla V100 Tensor Core GPU的制造商Nvidia最近报告说,其第四季度收入与去年相比增长了41%。

赖斯研究人员创造了一种节省成本的替代GPU的方法,GPU是一种称为“亚线性深度学习引擎”(SLIDE)的算法,该算法使用通用中央处理器(CPU),而无需专门的加速硬件。

赖斯布朗工程学院的助理教授Anshumali Shrivastava说:“我们的测试表明SLIDE是CPU上深度学习的第一个智能算法实现,可以在具有大型完全连接架构的行业规模推荐数据集上胜过GPU硬件加速。”与研究生Beidi Chen和Tharun Medini发明了SLIDE。

SLIDE不需要GPU,因为它采用了完全不同的深度学习方法。用于深度神经网络的标准“反向传播”训练技术需要矩阵乘法,这是GPU的理想工作量。借助SLIDE,Shrivastava,Chen和Medini将神经网络训练变成了搜索问题,可以用哈希表解决。

与反向传播训练相比,这从根本上减少了SLIDE的计算开销。Shrivastava说,例如,像Amazon,Google和其他公司提供的基于云的深度学习服务的顶级GPU平台有八台Tesla V100,价格约为100,000美元。

他说:“我们在实验室中有一个,在我们的测试案例中,我们采用了非常适合V100的工作负载,其中一个负载在大型,完全连接的网络(适合GPU内存)中具有超过1亿个参数,” “我们使用最好的(软件)软件包Google的TensorFlow对其进行了培训,培训时间为3 1/2小时。

“然后我们证明了我们的新算法可以在一小时内完成训练,而不是在GPU上,而是在44核Xeon级CPU上,” Shrivastava说。

深度学习网络受到生物学的启发,其核心功能人工神经元是可以学习执行特定任务的小型计算机代码。深度学习网络可以包含数百万甚至数十亿个人工神经元,并且它们可以通过简单地研究大量数据来共同学习,以做出人类层面的专家决策。例如,如果训练一个深层神经网络来识别照片中的物体,则它将使用与识别校车不同的神经元来识别猫的照片。

Medini说:“您无需在每种情况下都训练所有的神经元。” “我们认为,'如果我们只想选择相关的神经元,那就是搜索问题。' 因此,从算法上讲,该想法是使用对位置敏感的哈希来摆脱矩阵乘法。”

散列是一种在1990年代为互联网搜索发明的数据索引方法。它使用数值方法将大量信息(例如整个网页或一本书的章节)编码为称为哈希的数字字符串。哈希表是可以非??焖俚厮阉鞯墓A斜?。

“在TensorFlow或PyTorch上实现我们的算法是没有意义的,因为他们要做的第一件事就是将您正在做的任何事情都转换为矩阵乘法问题,” Chen说。“这正是我们想要摆脱的。因此,我们从头开始编写了自己的C ++代码。”

Shrivastava说,SLIDE相对于反向传播的最大优势在于它是数据并行的。

“通过并行数据,我的意思是如果我有两个要训练的数据实例,假设一个是猫的图像,另一个是公共汽车的图像,它们可能会激活不同的神经元,并且SLIDE可以更新或训练分别独立于这两个。”他说。“这是对CPU并行性的更好利用。

他说:“与GPU相比,另一面是我们需要大内存。” “主内存中有一个缓存层次结构,如果您不小心使用它,则可能会遇到一个名为“缓存颠簸”的问题,这会导致很多缓存未命中。

Shrivastava说,他的小组在SLIDE上进行的第一个实验产生了明显的缓存抖动,但是它们的训练时间仍然与GPU训练时间相当或更快。因此,他,Chen和Medini于2019年3月在arXiv上发布了初步结果,并将其代码上传到GitHub。几周后,英特尔与他们联系。

他说:“英特尔的合作者意识到了缓存问题。” “他们告诉我们,他们可以与我们合作,使其训练更快,他们是正确的。在他们的帮助下,我们的成绩提高了约50%。”

Shrivastava说SLIDE尚未接近发挥其潜力。

他说:“我们只是擦伤了表面。” “我们还有很多要做的优化工作。例如,我们还没有使用过矢量化技术,也没有使用过CPU内置的加速器,例如Intel Deep Learning Boost?;褂行矶嗥渌记煽梢允刮颐亲龅秸庖坏???斓?。”

他说SLIDE很重要,因为它显示了实现深度学习的其他方法。

Shrivastava说:“整个信息是,'不要被乘法矩阵和GPU内存所困扰。' “我们可能是击败GPU的第一种算法方法,但我希望这不是最后一种。该领域需要新的想法,这是MLSys的重要组成部分。”


 
责任编辑:

相关新闻
    无相关信息