• 最新论文
  • 【战“疫”说理】在“大考”中彰显制度优势和治理效能 【战“疫”说理】在“大考”中彰显制度优势和治理效能 普京表示,激光和高超音速的未来武器已通过测试,将使军队现代化 【战“疫”说理】在“大考”中彰显制度优势和治理效能 日本明星也用的「周一断食」减肥法,1个月减重6公斤 吴恩达专访:我的人工智能科研之路 安徽湖北辽宁:生猪存栏回升 猪肉供应平稳有序 【战“疫”说理】在“大考”中彰显制度优势和治理效能 吴恩达专访:我的人工智能科研之路 瑞银:预计2020年流入A股的外资总额或达3000亿元 兰州布病事件:涉事中牧分厂布病疫苗生产许可遭撤销 瑞银:预计2020年流入A股的外资总额或达3000亿元 安徽湖北辽宁:生猪存栏回升 猪肉供应平稳有序
  • 推荐论文
  • 【战“疫”说理】在“大考”中彰显制度优势和治理效能 【战“疫”说理】在“大考”中彰显制度优势和治理效能 普京表示,激光和高超音速的未来武器已通过测试,将使军队现代化 【战“疫”说理】在“大考”中彰显制度优势和治理效能 日本明星也用的「周一断食」减肥法,1个月减重6公斤 吴恩达专访:我的人工智能科研之路 安徽湖北辽宁:生猪存栏回升 猪肉供应平稳有序 【战“疫”说理】在“大考”中彰显制度优势和治理效能 吴恩达专访:我的人工智能科研之路 瑞银:预计2020年流入A股的外资总额或达3000亿元 兰州布病事件:涉事中牧分厂布病疫苗生产许可遭撤销 瑞银:预计2020年流入A股的外资总额或达3000亿元 安徽湖北辽宁:生猪存栏回升 猪肉供应平稳有序
  • 热门标签
  • 日期归档
  • 吴恩达专访:我的人工智能科研之路

    来源:www.bloodonthemotorway.com 发布时间:2020-03-21

    雷锋网络

    作为斯坦福大学计算机科学系和电气工程系的客座教授,吴恩达一直致力于深入研究。在不同的场合,他一再表示:深度学习有巨大的潜力,是一种行之有效的技术。我们需要继续增加投资。

    他为此做了很多努力:Coursera,一个他和达芙妮科勒一起创建的在线教育平台,影响了数百万人工智能学习者;发达的人工神经网络已经学会通过观看一周的YouTube视频来识别哪些视频是关于猫的,这在人工智能领域翻开了新的一页。

    最近,麻省理工学院人工智能科学家莱克斯弗里德曼对吴恩达进行了独家采访。在采访中,在线教育平台Coursera谈到了初学者如何进入人工智能领域,并解释了他认为最有效的“学习姿势”。

    此外,他还回忆了自己的第一个博士生,并简要介绍了当时研究直升机的项目.采访视频如下。由于视频较长,《人工智能科学与技术评论》的编辑没有改变吴教授的逻辑。

    视频内容:

    吴恩达:深度学习,教育,和现实世界的人工智能|人工智能播客与lex fridman

    1,Youtube链接:

    2,腾讯视频链接:

    由网友上传)

    1,早先在网上教育

    我在香港和新加坡长大。当我第一次接触到代码时,我在5或6岁的时候学会了基本的编程语言,并将一些代码编程到计算机中。那时,我也非常喜欢做一些编码例子。

    我在我的旧电脑上实现了我的想法,并沉迷于将代码从教科书复制到电脑上,因为我认为用编程来帮我玩电子游戏非常酷!当我稍大一点的时候,我和我的医生、父亲一起阅读关于专家系统和神经网络的书籍。在电脑上写代码,然后展示智慧,真是太棒了!

    在高中,我在办公室做助理实习生,做了很多复印工作。那时,我想如果我能写一些软件来建造一个机器人来自动化一些工作,那将会很棒。

    从那以后,我的很多工作都围绕着自动化这个主题,一直持续到今天。我仍然专注于自动化,甚至今天的机器学习也非常擅长写一些学习算法。

    此外,我还尝试将自动化应用到Coursera的校园教学中。当我在斯坦福教机器学习时,每年大约有400名学生。每年我都会拍摄同样的教学视频,甚至对同一个教授讲同样的笑话。我想知道为什么去年我不用拍教学视频,然后花更多时间和同学建立深厚的关系?这启发了我的想法,然后我们开始了第一步。

    事实上,大多数人都不知道,我上传的大部分教学视频都是在晚上10点至凌晨3点之间录制的。开始的时候,压力很大,我们想放弃,但是有10万人注册,成千上万人的期望促使我去录音室和办公室。在开始录音之前,我会调整我的演讲逻辑,调整欢迎辞,打开麦克风,然后开始录音,通常会持续到晚上2点或3点,但是创造内容的想法鼓励我希望很多人会学习机器学习。

    我告诉我的团队,我们的首要任务是做对学习者有益的事情。每当我去录音室,我唯一的想法就是我能说什么,以及如何让学习者尽可能理解机器学习的概念。我认为我们做了正确的事情。我一直坚持为学习者做最好的事情的基本原则,那就是让学习者来自世界各地。

    我第一次接触在线教育是把我在斯坦福的演讲视频上传到YouTube,然后建立一个网站。建立一个网站的好处是我可以迭代,让我们实现一些想法。那时,我非常兴奋。我特别开发了一个特殊的登录功能,允许多人同时登录网站,允许多人同时观看视频。目前大多数网站不支持这一功能。毕竟,如果你已经登录,我想再次登录,只有你可以注销。当然,也有许多失败的教训。事实上,如果某样东西看起来很棒,但没有人使用,它就没有你想象的那么好。

    2。机器学习将和教育一样受欢迎。

    整个机器学习运动的兴起并非凭空而来。越来越多的人正在学习机器学习。进入这一领域的人也会影响他们的朋友,因此人工智能学习者的比例将继续增长。

    目前还不清楚有多少人工智能开发人员构成了开发人员的总数,但仍然很容易超过50%。毕竟,人工智能不仅涉及机器学习建模,还涉及机器学习基础设施、数据管道等。就像今天的开发工程师或多或少对“云”有所了解一样,但并不是所有人在工作中都需要“云”。

    我认为这种现象将来会以某种方式应用到人工智能开发者身上。从前,只有少数人能阅读。也许你认为不是每个人都需要学习阅读和写作。这些人只需要倾听。然而,当一个国家的人基本上知道汉字时,这就大大促进了人与人之间的交流。

    就计算机而言,它仍处于这个阶段。如果人人都知道代码和机器学习,这在某种程度上类似于普及识字教育。然而,随着机器学习和数据规模的增加,我发现在日常生活中,专门在工作中使用数据分析的人非常多。

    如果你经营一家商店,如果你能分析顾客的销售数据,那么你的价值就非常高。在某种程度上,这些人是数据科学家,所以我认为机器学习的数据标志可能比软件工程更容易进入发达国家。

    3。无监督学习非常重要!

    彼得是我的第一个博士生。他有批判性思维。当时,他博士学位的研究课题是通过强化学习来控制无人直升机。到目前为止,你可以在斯坦福网站上看到这些视频。这项研究非常困难。有些事情是无法克服的,例如,当直升机倒着飞行时,你如何找到位置?如何定位直升机?我们尝试了许多方法,但显然问题出在全球定位系统硬件上。当时,我们想用两个全球定位系统来定位,但我们没有成功。为了解释全球定位系统信号,我们疯狂地寻找复杂的专用硬件配置,并经历了许多失败。最后,解决方案是在地面上安装摄像机,以解决定位问题。当时斯坦福大学有很多关于强化学习的理论文章,但实际应用并不多,所以我们的研究在当时非常有名。

    我们今天可能会回到原点。目前强化学习的进展非常令人兴奋,但我们仍在寻找更多的应用场景。我非常喜欢学习理论,我希望我的工作能对人们产生积极的影响。我仍然记得许多年前,当我们和一位数学教授讨论时,当他说他想做什么时,他的眼睛里充满了小星星。他说我学习数学是因为它帮助人们发现宇宙的真相和美丽。因此,充分支持和尊重他人的观点是非常重要的。当我看到我的团队在帮助别人时,我也会非常积极。

    这个世界需要各种各样的人,我只是其中之一,并不是每个人都像我一样做事,但是当我学习理论或实践时,如果我坚信这是一种帮助他人的方式,满足感会很强。我们还忽略了一些东西,那就是早期无监督学习的重要性。在谷歌大脑的早期,我们把更多的精力放在无监督学习上,而不是监督学习。目前,我们所知道的大部分是通过监督学习实现的。从这个绝对有问题的论点来看,人类获取信息的方式是通过观看图像、听声音和感受他在这个世界上的经历。

    Operation timed out after milliseconds with 0 out of -1 bytes received

    深度学习是如此令人兴奋,但人工智能团队不应该只使用深度学习,我的团队将使用一系列工具。有时我们使用个人电脑来找出个人电脑上问题的原因,有时我们使用代理模型,有时我们使用草稿,其中可能有一些内容对行业有很大影响。

    多样化的技能可以帮助我们找到更合适的工具来解决问题。我对学术领域也有期望。如果我只做学术工作,有无限的预算,不担心短期影响,我会把所有的精力花在无监督学习上,因为无监督学习是一个美丽的想法,令人兴奋。让我们举一个自我监督学习的例子:我在网上抓取了一些未标记的图像数据,有各种类型的数据,然后我将旋转和翻转每一幅图像,然后训练一个监督神经网络来预测图像的原始方向。

    因为图片已经旋转,所以生成的标签数据的数量是无限的。研究人员发现,通过使用未标记的数据和伪造的标记数据集,然后训练一个大的新网络,使用隐藏层表示和迁移学习,它可以转移到另一个强大的算法。无监督学习越来越重要,并在现实世界中发挥作用,尤其是在计算机视觉领域。令人兴奋的是,这个概念融合了其他学科的概念。

    我对稀疏编码也很感兴趣。我看到了一个缓慢的特征分析。这个想法可以追溯到十年前我们的工作,但是那时我们都被监督和学习分散了注意力,所以我希望研究者们能够围绕这个话题探索更多的工作,以便能够形成一个圈子。

    6。培养学习习惯是一项重要的学习技能!

    对于初学者来说,完成深入学习的专业课程大约需要16周,有些人可以在不到一个月的时间内完成学习,也就是说,这取决于他们的个人情况。我们在课程中提供非常专业的课程,这些课程非常容易获得,也非常便宜。如果学生有经济困难,也可以申请经济资助。

    当深入学习和机器学习时,它是形成学习习惯的关键,因为它意味着规律性。就我自己而言,我已经养成了每个周六和周日花些时间阅读或学习的习惯,这将使事情变得更容易。因此,就像你刷牙的习惯一样,你不认为你在两分钟内刷牙的行为令人讨厌。

    记住,学习者不需要有认知负担的习惯,但是在开始的时候很难做到。确保你能养成不必做决定的习惯,并学会坚持下去!阅读研究论文是一件非常好的事情。“不读论文”的能力可以来自一年中每周阅读论文。当你读了100篇论文,你会学到很多。

    手写笔记是学习技能的推荐方法。对我来说,当我深入学习某样东西时,我会用手写下来。当然,根据情况,并不是每个人都适合。例如,当许多人在上下班途中学习时,写作是非常不方便的。但总的来说,手写笔记可以提高记忆力,让人们回忆起更多的知识点,并促进人们的长期注意力。

    然后在写笔记的过程中,注意总结。你可以写得很慢,但是你应该深刻总结学习内容。在学习过程中,实际的课堂作业是人们进入新领域学习概念知识的一种非常有效的方式。

    事实上,如果博士生想学习,最好的方法就是花前几年打好基础。虽然最初几年的工作效率相对较低,但从长远来看,它确实很好。从小事做起,循序渐进,不要一开始就处理大项目,你可以用小项目来练习。当然,最重要的是迈出第一步,然后再迈出一小步。

    7。关于博士学位,找工作的研究人员应该获得博士学位吗?

    机器学习中最有趣的事情是,即使你没有博士学位,你也可以做一些有影响力的事情。

    当然,如果有人被麻省理工学院或斯坦福这样的顶尖大学录取,这也是一次极好的经历。此外,如果有人想成为顶尖大学的教授,他必须有博士学位。

    此外,我建议当你找到工作时,谁是你的经理?你周围的同龄人是谁?因为我们都是社会性动物,我们经常变得更像我们周围的人。如果你为好人工作,你会学得很快。如果一家公司没有告诉你和谁一起工作,或者轮换制度,我认为这可能是一个令人担忧的答案,因为这意味着你不能和好的人一起工作。

    8。如何建立一个成功的人工智能创业公司

    许多创业公司的失败来自于产品制造,因为没有人想要他们的产品。我自己更喜欢结果和客户驱动的商业模式。只有当顾客决定是给你的产品大拇指还是小拇指时,你才能决定你的成败。

    在短期内,它可能会受到各种用户的青睐。最重要的是长期。所以当你开始创业时,你应该问自己一个问题:顾客会怎么想?我们所有人都应该只做我们认为能够创造社会福利和推动世界前进的事情。无论是在企业还是在学术环境中,最有意义的方法总是为人民服务。

    所以就我个人而言,我不想支持制造令人上瘾的数字产品,因为只要这些产品“有利可图”,它们就可能“令人上瘾”。当我还在百度领导人工智能团队时,我的工作分为两部分。一个是建立一个人工智能引擎来支持现有的商业模式。第二项工作是尝试启动公司的新业务,即使用公司的人工智能。

    所以自动驾驶业务被纳入了我的团队。那时,我想建立一个人工智能基金,从零开始系统地建立新的创业公司。我认为这将是团队追求丰富企业空间的重要途径。这一机制对项目的完成和促进世界发展具有重要影响。幸运的是,我成立了几个研究小组,并取得了一些积极的效果。接下来,我将以更系统的方式操作。

    Studio最初是一个新概念,现在可能有几十个。许多团队仍在努力寻找如何以高成功率运营公司。我的一些风险投资朋友似乎也越来越想建立一个公司,而不是投资一个公司,因为最吸引人的事情总是如何建立一个成功的公司。现在,它在提高企业家的成功率方面做得很好,但在世界范围内仍处于早期阶段。

    对大多数企业家来说,创办公司真的是一件孤独的事情。太多的企业家不知道如何做决定。例如,销售时,投放广告时.企业家需要做出数百个决策,而几个关键决策中的错误和误解对公司的命运有着巨大的影响。因此,我认为工作室将为初学者提供支持,让创业不再是一种孤独的经历。

    此外,当面临一些关键的决策时,比如招聘第一工程副总裁,招聘标准是什么?如何雇佣?工作室至少在关键时刻可以帮助这些人。此外,我还希望帮助他们了解关键决策的“时机”。

    9。企业如何改造人工智能?

    一家大公司如何将机器学习融入到他们的工作中呢?人工智能是一项通用技术,它将改变每个行业。其实,我们的AI社区已经在很大程度上进行了改变,大多数软件互联网并不是顶级的,其只要具备合理的机器学习能力,就有很大的改进空间。软件互联网领域之外行业,例如制造业,农业,医疗保健,物流,运输,有非常多的机会,但很少的人在使用人工智能。所以我认为人工智能的下一步是改变所有其他行业。因此,我们需要更多的团队为这类公司工作,帮助他们部署AI。除了互联网软件行业,所有的行业都很有潜力,毕竟这是我花了很多时间在制造业、农业、医疗保健等方面才得出结论。举个例子,在制造业中,计算机视觉发挥了很大的作用:用深度学习训练一个算法,然后让其识别产品是否有缺陷,然后给出工厂如何改进的建议,以便提高产量和质量。事实证明,此过程遇到的实际问题可能与你猜想可能遇到的问题大不相同。在大多数研究中,首先数据集的规模几乎是不够的,另一方面还需要考虑工厂的实际情况,可能模型在训练集上效果很棒,但如果工厂改变了一些东西,例如灯的亮度,算法的准确率就不会很高。然而这些问题,学术界大多都没有讨论。

    我曾经在网上发表了一份 《人工智能转型手册》 ,简单的介绍了每个公司在转型的时候应该避免的坑。而第一步实际上是从小事做起,但是很多公司的失败都是因为一开始“大而不实”。

    以谷歌大脑为例,当时很多人认为深度学习神经网络没啥用,我和我的团队从小事做起,建立了一个准确率高的语音识别系统,然后其他团队开始青睐深度学习。

    第二个例子是谷歌地图,我们使用计算机视觉从基本的街景图像中读取房屋编号,以谷歌地图更准确地定位房屋。也就是用深度学习来提高地图数据的质量。通过两次的成功,我们逐步建立了人工智能项目的发展势头,然后才开始了与谷歌广告团队进行对话、合作。虽然只前期都是小规模的项目,但让我们的团队获得信心。

    记得,我们当时只有一台GPU,但是却从如何探索多人共享方面学到了很多东西,这也帮助我们团队思考如何将其扩展到更大的部署。建立和部署机器学习是非常困难的,在电脑中运行notebook文件和在具体实际情况中部署之间有着巨大的鸿沟。

    很多人低估了算法部署到生产所要花费的精力,一些算法在测试集上做的很好,但是用在实处却不起作用,例如把工厂附近的树木砍掉,测试集会发生变化,算法是否能发挥效力不得而知。在学术界,当测试集和训练集之间的概率分布是不同的时候,如何处理尚未得到好的解决办法。当然,迁移学习正在为这方面工作做努力,但是我们真的不擅长处理此类事情。如果你看看软件系统中的代码行数,机器学习模型可能只占整个软件系统的5%甚至更少,那么如何完成接下来的工作,并使其更加系统和可靠呢?需要明确的是,良好的软件工程是基础,也是构建小型机器学习系统的基础。

    10、我们应该考虑什么样的AI道德?

    拿自动驾驶来说,最大的问题不是“电车难题”是,最大的问题是当一辆车横穿马路时,最大的问题是你应该做的是刹车而不是撞上它。

    另一个道德问题是财富不平等,人工智能和互联网正在引发权力集中,因为数据拥有可以高效的分析数据,会影响众多产业。

    互联网很多行业有“赢家通吃”的动力,同时这些动力影响着其他的行业。

    所以重点是如何确保财富得到公平分享呢?如何帮助失业的人?除了教育之外,我们可能还需要做更多的事情。然而偏见也是一个严重的问题。故意对遥远的未来可能出现的问题的事情大做文章,而不是把重点放在当前硬件方面的问题上,会掩盖我们今天已经存在的问题。

    11、我最自豪的事情!

    我也犯了很多错误,但是每次改正,我都会想为什么不早五年,甚至早十年想到这一点呢?

    有时候我读了一本好书,我希望我10年前就读过这本书,要是10年前就读了可能我的生活是如此的不同,尽管这是最近发生的。在我们发现的过程中,不断地发现那些事后看起来如此明显的东西,它总是比我想要弄清楚的时间要长得多。

    我最自豪的满足和幸福的就是我的女儿,但我没有花足够的时间来陪陪她。

    帮助别人也能使我得到满足,对我来说,生命的意义是希望别人实现他们的梦想,我希望试图通过使人类作为一个整体更加强大来推动世界的前进。所以,当我知道别人因为我变得好一些的时候,我也会非常自豪和幸福。

    友情链接: