语法检查-人工智能发展势不可挡！除了智能写作还有哪些热门的人工智能产品？
编辑：pitaya02 日期：2020-11-24
伴随着 Google、 microsoft和 Facebook等巨头的大手笔投入，深度学习正在超越机器学习，人工智能的发展势不可挡。现在，什么是最热门的人工智能技术趋势？火龙果语法检查
Blackbox认为，十大趋势，如复杂神经网络， LSTMs (长短期记忆网络), Attention Models (注意力模型)，将塑造人工智能未来的技术格局。火龙果语法检查
以上判断来自神经信息处理系统 NIPS 2015大会。NIPS成立于1987年，是人工智能领域两个重要的学习会议之一，近年来随着 AI的迅猛发展，逐渐成为许多硅谷公司必须参加的年会。
NIPS2015在蒙特利尔举行，吸引了众多 AI界和产业界的顶尖专家，参与人数近4000人。本次会议共有403篇论文，其中深度学习专题占11%左右。BradNeuberg是 Dropbox的资深软件工程师，他分享了他所注意到的10大技术趋势，黑盒子会对每一种趋势进行详细分析。
第一，神经网络的结构正在变得越来越复杂
大多数神经网络的结构，例如感知和翻译，正变得越来越复杂，远不是以前简单的前馈神经网络或卷积神经网络可以比拟的。尤其值得注意的是，神经网络融合了不同的技术(如 LSTMs，卷积，定制目标函数等)。火龙果语法检查
神经网络是大多数深度学习项目的基础。在人脑结构的基础上，人工模拟神经元层层相互联系，模拟人脑行为，处理诸如视觉和语言等复杂问题。这类神经网络既能收集信息，又能作出反应。他们能够解释事物的形状和声音，并且能够自己学习和工作。火龙果语法检查
(模拟神经细胞是为了模仿大脑行为)
但是所有这些都需要很高的计算能力。GeoffreyHinton和他的同事们早在80年代初就开始研究深度学习。不过，在那个时候，计算机并不能快速地处理关于神经网络的大量数据。那时 AI的研究方向也与此相反，人们都在寻找捷径，为了直接模拟人脑的功能，而模拟旅行。
伴随着计算机能力的提高和算法的改进，神经网络和深度学习技术已成为人工智能领域最引人注目的研究方向。神经网络还在变得更加复杂，当年“谷歌大脑”小组第一次尝试“无监督学习”时，他们使用了16,000多个微处理器，创建了一个拥有数十亿连接的神经网络，并在一次实验中观看了千万张 YouTube视频。火龙果语法检查
酷酷的人们正在使用 LSTMs
读这篇文章时，你是基于对前面每一句话的理解。您的思想是连续的，您不会放弃已知的信息而从零开始。常规神经网络的一个重大缺陷就是不能做到这一点，而递归神经网络可以解决这个问题。
RNN具有可持续保存信息的循环结构。近年来， RNN在语音识别、翻译等诸多领域都取得了令人难以置信的成功，而其成功的关键在于建立起一个专门的 RNN——长、短记忆网络。
一般的 RNN可以学会预测" the clouds are in the sky"中的最后一个词，但是很难学会预测" I grew up in France… I speak fluent French."。关联信息(clouds, France)和预测位置(sky, French)之间的间隔越大，神经网络学习连接信息就越困难。那就是所谓的“长期依赖性”问题
(长期依赖性问题|图片来源： CSDN)
明确地设计了 LSTM来解决其中一个问题。它有四层神经网络层，它们以一种特殊的方式相互作用。这样， LSTMs就可以将“长时间记忆信息”看作是 LSTMs的“内在行为”，而无需额外学习。LSTMs在大多数任务中都取得了很好的效果。火龙果语法检查
现在是时候关注“注意力模式”(attention models)了
拉斯特是人们使用拉斯特的一次飞跃。有什么飞跃吗？研究人员普遍认为：“仍然有注意力(注意力)！”
注意是指神经网络在完成任务的过程中知道将注意力集中在哪里。在每个步骤中，我们可以让神经网络从较大的信息集中选择信息作为输入。火龙果语法检查
举例来说，当神经网络产生一幅图片的标题时，它可以选择图像的关键部分作为输入。
(具有“注意力”的 RNN成功应用于图像识别)
神经图灵机仍然很有意思
但是在实际工作中，当你翻译一个句子的时候，并没有逐个单词的翻译，而是从整个句子的结构开始。计算机很难做到这一点，这个难题就是所谓的“强耦合输出总体估计”。许多研究人员在 NIPS上展示了跨时空耦合输出的研究。
Neural Turing Machine神经图灵机(Neural Turing Machine)是研究人员试图用硅片再现人脑的短期记忆。其背后是一种特殊类型的神经网络，它能够与外部存储器一起工作，从而使神经网络能够存储记忆，并在以后检索记忆和执行逻辑任务。
(神经图灵机模拟人的短期工作记忆)
Google Deepmind于2014年10月发布了一个原型计算机，该计算机能模拟人类大脑的短期工作记忆功能。但是，在NIPS2015之前，所有的神经图灵机都太复杂了，只能够解决一些“小玩具”问题。将来他们会有很大的进步。
深度学习使计算机视觉和自然语言处理不再是孤立的
卷积神经网络(CNN)最初出现于计算机视觉领域，但是现在已经被许多自然语言处理系统所采用。LSTMs最早出现于 NLP算法中，但现在也被纳入到计算机视觉神经网络中。
而且，计算机视觉和 NLP的结合仍然具有无限的前景。设想这个程序会自动地为美剧嵌入中文字幕。
六、符号差异性越来越重要
由于神经网络体系结构及其目标函数变得越来越复杂，越来越定制，手工导出“反向传播”(back propagation)梯度(gradients)也变得越来越困难，并且更容易出错。最新的一套工具，如谷歌的 TensoRFlow，已经能在超负荷测试中自动计算出正确的差值，确保训练时误差梯度可以反向传播。
神经网络模型压缩的令人惊叹的结果
许多团队通过不同的方法大幅压缩了训练一个好的模型所需要的材料量，这些方法包括二值化，固定浮点数，迭代调整，以及精细调优等等。
这类技术具有广阔的应用前景，有可能适用于移动设备上复杂模型的训练。举例来说，语音识别的结果是没有延迟的。另外，如果操作所需的空间和时间大大减少，我们可以极高帧速率查询一个模型，比如30 FPS，这样在移动设备上也可以使用复杂的神经网络模型，几乎实时地完成计算机视觉任务。
深度学习和强化学习之间的持续融合
尽管在 NIPS 2015并没有强化学习(reinforcement learning)方面取得重大成就，“深度强化学习”研讨会展示了深度神经网络与强化学习结合的前景。
随着机器人研究如“端对端”(end-to-end)等领域取得了令人振奋的进展，现在机器人可以一起使用深度和强化学习，将原始感知数据直接转化为实际的动作驱动。在“分类”这类简单的工作之外，我们还试图把计划和行动结合起来。仍有许多工作要做，但是早期的工作已经很令人兴奋了。火龙果语法检查
难道你们还没有采用批量标准化吗？
批量标准化(batch normalization)现已成为评估神经网络工具箱的部分标准，在 NIPS 2015中不断被提到。
十、神经网络的研究和优化
创建新的神经网络方法需要研究人员，同时也需要能够快速实施的方法。谷歌的 TensorFlow是能够实现这些功能的少数几个库：使用像 Python或者 C++这样的主流编程语言，研究人员可以很快地编写出新的网络拓扑图，然后在一个或多个设备上进行测试，包括移动设备。
火龙果智能写作是全球第一款中英双语语法检查校对产品，运用火龙果智能写作技术进行错别字文本校对，除错别字校对以外，还可以对语法、标点等进行校对。
火龙果智能写作官网https://www.mypitaya.com
积极拥抱变化，才能更好的应对这个时代