• 最新论文
  • 遭家长“嫌弃”的4大专业,深入了解后发现是“铁饭碗” 【培训】抖音短视频营销认知升级专场培训会圆满举行 我国最“神秘”的一个村寨,在井下繁衍生息几千年,从未被人发觉 12中11轰25分创4纪录,掘金超星让4锋线无球可打,马龙忧喜参半? 晨读丨美好的12月22日,从关注健康开始 娄底三中举办高一学生生涯规划指导讲座 【培训】抖音短视频营销认知升级专场培训会圆满举行 晨读丨美好的12月22日,从关注健康开始 证监会债券部陈飞:三方面加强债券市场基础制度建设 证监会债券部陈飞:三方面加强债券市场基础制度建设 遭家长“嫌弃”的4大专业,深入了解后发现是“铁饭碗” 12中11轰25分创4纪录,掘金超星让4锋线无球可打,马龙忧喜参半? 谁写出了AI领域最具影响力的论文?这两位德国学者打破了Bengio和LeCun的年度被引记录
  • 推荐论文
  • 遭家长“嫌弃”的4大专业,深入了解后发现是“铁饭碗” 【培训】抖音短视频营销认知升级专场培训会圆满举行 我国最“神秘”的一个村寨,在井下繁衍生息几千年,从未被人发觉 12中11轰25分创4纪录,掘金超星让4锋线无球可打,马龙忧喜参半? 晨读丨美好的12月22日,从关注健康开始 娄底三中举办高一学生生涯规划指导讲座 【培训】抖音短视频营销认知升级专场培训会圆满举行 晨读丨美好的12月22日,从关注健康开始 证监会债券部陈飞:三方面加强债券市场基础制度建设 证监会债券部陈飞:三方面加强债券市场基础制度建设 遭家长“嫌弃”的4大专业,深入了解后发现是“铁饭碗” 12中11轰25分创4纪录,掘金超星让4锋线无球可打,马龙忧喜参半? 谁写出了AI领域最具影响力的论文?这两位德国学者打破了Bengio和LeCun的年度被引记录
  • 热门标签
  • 日期归档
  • 谁写出了AI领域最具影响力的论文?这两位德国学者打破了Bengio和LeCun的年度被引记录

    来源:www.bloodonthemotorway.com 发布时间:2020-02-07

    最近发生了意外的排名变化。2019年LSTM论文的年被引次数达到9752次,高于本吉奥、乐春等去年引用的美国有线电视新闻网相关论文(《Gradient-based learning applied to document recognition》)。

    20世纪DL最常引用的论文易手了。

    在此之前,20世纪深度学习领域最常被引用的论文是图灵奖获得者杰弗里辛顿的“反向传播”相关论文,累计引用篇。但是,值得注意的是,报价标有星号(如下图所示)。

    星号表示这个数字不是一篇论文的引用量,而是几篇论文的综合引用量。包括:

    通过错误传播学习内部演示。de rumelhart,gehinnon,rjwilliams,加州大学圣地亚哥拉霍亚分校。认知科学研究所,1985(引用25k)

    并行分布式处理. jl mcclelland,de rumelhart,pdp研究小组,mitpress,1987(引用24K)

    通过反向传播错误学习演示.德鲁梅尔哈特,葛辛顿,RJ威廉姆斯,自然323 (6088),533-536。1986年被引用(20k)

    ……

    因此,上图中韩丁被引用最多的深度研究论文《Learning internal representations by error propagation》的单次引用应为,略低于施密休伯的上述论文。

    在此之前,施密于贝尔的上述论文也高居年度引文(9752)的榜首,超过了上述“反向传播”三篇论文(3574 461 3181)的总和,也高于美国有线电视新闻网相关论文(6301)前一年的最高引文。

    Schmiduber LSTM论文的年度引文。

    Bengio,Lecun等人,美国有线电视新闻网相关论文年度引文。

    deep learning classic paper lstm

    LSTM的全称是长短期记忆,是一种具有长期记忆能力的时间递归神经网络。它的网络结构包含一个或多个具有遗忘和记忆功能的单元。由于其独特的设计结构,LSTM适合处理和预测具有很长时间间隔和时间序列延迟的重要事件。

    这篇论文首次发表于1997年。它是由德国慕尼黑技术大学的计算机科学家Sepp Hochreiter和Jürgen Schmidhuber(现任瑞士Dalle Molle人工智能研究所联合所长)共同完成的。

    Paper Link:多伊=10 . 1 . 1 . 676 . 4320 rep=rep 1 type=pdf

    当提出时,LSTM被用来解决传统RNN的重量随着时间的推移在反向传播中消失的问题。重要组件包括遗忘门(Input Gate)、输入门(Input Gate)和输出门(Output Gate),它们分别负责确定当前输入是否被采用、是否被长期记忆以及存储器中的输入当前是否被输出。

    LSTM网络由具有重复结构的LSTM单元组成,与RNN的不同之处在于重复单元有四种特殊结构(RNN只有一层)。

    LSTM论文中的简单模型图(8个输入单元、4个输出单元和2个存储单元)被认为是深度学习领域的经典。

    LSTM通常比时间递归神经网络和隐马尔可夫模型表现得更好,例如,它用于不连续连续手写识别。2009年,LSTM构建的人工神经网络模型赢得了ICDAR手写识别竞赛。LSTM也被广泛用于自主语音识别。2013年,TIMIT自然语音数据库被用来记录17.7%的错误率。作为一个非线性模型,LSTM可以作为一个复杂的非线性单元来构造一个更大深度的神经网络。

    21世纪DL最高被引论文

    时间进入21世纪,人工智能/深度学习领域再次崛起。在新阶段,三篇经典论文被引用的次数远远超过其他论文。

    有趣的是,它们都是关于神经网络在大规模图像数据集ImageNet中的应用,这在一个方面说明了计算机视觉的普及。其中一篇论文介绍了一种快速的、基于CUDA的深度卷积神经网络,这就是赢得2012年ImageNet竞赛的AlexNet。另一篇论文是2014年ImageNet冠军:

    A Krizhevsky,I Sutskever,Ge Hinton 《Imagenet classification with deep convolutional neural networks》 Neuererips 2012(引用次)

    B. K. Simonyan,A Zisserman 《Very deep convolutional networks for large-scale image recognition》 arxiv . 1556,2014(引用次)

    今年被引用最多的论文当然是ResNet 《Deep Residual Learning for Image Recognition》,它有更深的网络和更强的性能。该方法获得了2015年ImageNet和COCO竞赛的冠军,以及2016年CVPR的最佳论文奖:研究作者是何明凯、张翔宇、任邵青和孙健(引用次数36,000次;仅在2019年,这一数字将增加18,000倍以上)。

    孙健等人提出的“深度剩余网络资源网”和“基于区域卷积神经网络的快速目标检测快速资源网”等技术,广泛应用于学术和工业领域,对深度学习的基础研究具有里程碑意义。这些研究思路也已经应用于计算机视觉:雷斯网(ResNet)的思路也启发了DeepMind的人工智能围棋程序AlphaGo Zero,并且已经应用于机器翻译、语音合成和语音识别等不同领域。

    ResNet甚至已经成为深入学习硬件以测量计算能力的基准标准。参与这项研究的四位中国学者今天也广为人知,当时他们都在微软亚洲研究院的视觉计算小组工作。

    值得注意的是,这些反复打破记录的“GPU加速卷积神经网络”也可以追溯到施密休伯及其弟子的研究。AlexNet的作者Krizhevsky在论文中引用了DanNet,这是第一个充分利用CUDA并在图像识别挑战方面超越人类水平的卷积神经网络(2011)。达能网赢得了2011年ICDAR中文手写内容识别大赛、IJCNN 2011年交通信号识别大赛、ISBI 2012年图像分割大赛和ICPR 2012年医学图像识别大赛。

    作为最着名的卷积神经网络之一,ResNet比DanNet和AlexNet更深。前者指Srivastava等人在2015年提出的高速公路网(也是Schmidhuber等人的研究),这是一个特例。从某种意义上说,这形成了LSTM的闭环,因为“高速公路网本质上是LSTM网络的前馈版本”。

    大多数LSTM参考文献都是1997年的LSTM论文,但施密休伯在《奇异之年》中发表的一篇文章指出,LSTM的基本观点可以追溯到Seep Hochreiter 1991年的毕业论文,他认为该论文是“机器学习研究史上最重要的文献之一”。此外,他还对其他学生表示感谢:“LSTM及其培训计划的改进归功于费利克斯格斯、亚历克斯格雷夫斯和我的其他学生的贡献。”

    LSTM原理对环路网络和前馈网络都是至关重要的。现在它存在于每一部智能手机中,也存在于星际争霸和OpenAI的Dota游戏中的DeepMind锦标赛中,以及大量与人工智能相关的应用中。

    然而,LSTM被人们“重新估价”可能只是一个暂时的现象。红迪网上的一些网民指出,基于变压器的方法最近正在逐渐升温。

    参考链接: _ the _ 1997 _ lstm _ paper _ by _ hochriter _ schmidhub/

    最近,基于腾讯梅田工作室《王者荣耀》开发的热门MOBA之旅,腾讯的人工智能实验室发布了一项利用深度强化学习来预测代理人游戏行为的研究结果。在最新一期的AAAI 2020在线分享机器之心中,我们邀请了腾讯人工智能实验室人工智能游戏领域的高级研究员叶德恒博士为大家翻译。回到搜狐看更多

    在线成人小视频|强奸乱伦成人视频在线免费|成人视频1976

    友情链接: