三九宝宝网宝宝教育教学论文

深度学习在自然语言处理方面的运用有哪些

03月23日 编辑 39baobao.com

[语文教学,应以学习语言文字运用为中心——《以学习语]最近听了江苏省人民教育家培养对象、苏州市基础教育处处长薄俊生的教育思想报告 《以学习语言文字运用为中心改革语文教学》,报告列举了不少语文教育专家关于 学习语言文字运...+阅读

作者:陈见耸来源:知乎深度学习在自然语言处理中的应用已经非常广泛,可以说横扫自然语言处理的各个应用,从底层的分词、语言模型、句法分析等到高层的语义理解、对话管理、知识问答、聊天、机器翻译等方面都几乎全部都有深度学习的模型,并且取得了不错的效果。可以参看ACL2017年的accepted papers list。Accepted Papers, Demonstrations and TACL Articles for ACL 2017。从这里可以看到大部分论文都使用了深度学习的模型。那为什么深度学习在自然语言中取得这么大的进步呢?

一、从数据上看,经过前些年互联网的发展,很多应用都积累到了足够量的数据。当数据量增大,以SVM、CRF等为代表的浅层模型,因为模型较浅,无法对海量数据中的非线性关系进行建模,所以不能带来性能的提升。相反,以CNN、RNN为代表的深度模型,能够随着模型复杂性的增加,对数据进行更精准的建模,从而得到更好的效果。

二、从算法上看,深度学习也给自然语言处理的任务带来了很多好处。首先,word2vec的出现,使得我们可以将word高效的表示为低维稠密的向量(distributed representation),相比于独热表示表示(one-hot-representation),这一方面一定程度上缓解了独热表示所带来的语义鸿沟的问题,另一方面降低了输入特征的维度,从而降低了输入层的复杂性。其次,由于深度学习模型的灵活性,使得之前比较复杂的包含多流程的任务,可以使用end to end方法进行解决。比如机器翻译任务,如果用传统的方法,需要分词模块、对齐模块、翻译模块、语言模型模块等多个模块相互配合,每个模块产生的误差都有可能对其他模块产生影响,这使得原来的传统方法的构建复杂度很大。在机器翻译使用encoder-decoder架构后,我们可以将源语言直接映射到目标语言,从而可以从整体上优化,避免了误差传递的问题,而且极大的降低了系统的复杂性。深度学习虽然是把利器,但是并不能完全解决自然语言中的所有问题,这主要是由于不同于语音和图像这种自然界的信号,自然语言是人类知识的抽象浓缩表示。人在表达的过程中,由于背景知识的存在会省略很多的东西,使得自然语言的表达更加简洁,但这也给自然语言的处理带来很大的挑战。比如短文本分类问题,由于文本比较简短,文本所携带的信息有限,因此比较困难。像这样的问题,当样本量不够时,如何将深度学习方法和知识信息进行融合来提升系统的性能,将是未来一段时间内自然语言处理领域研究的主要问题。

以下为关联文档:

面试中有哪些语言表达方面的技巧首先,要态度诚恳,认真思考、回答面试官的提问。 面试时,可以适度彰显自己的才华,当然大不可太过张扬。面对面试官的提问,回答时态度要诚恳,认真回答。对于较难的问题,要认真思考,根...

学习C语言应注意哪些方面其重点和难点是哪些第一个难点 C语言的数据类型 关于C语言数据类型,不难理解但难于运用。这就要求同学们在学习的时候记住常用的一些数据类型的特征(第一次作业第2题内容)。 第二个难点 C语言的运...

学习C语言应注意哪些方面?其重点和难点是哪些第一个难点 C语言的数据类型 关于C语言数据类型,不难理解但难于运用。这就要求同学们在学习的时候记住常用的一些数据类型的特征(第一次作业第2题内容)。 第二个难点 C语言的运...

商务谈判中有声语言的技巧体现在哪些方面实现自己一方的某种意图。商业谈判也像乒乓球比赛一样,混合双打,如果角色不到位可能就不起作用,力争在交易和合作中实现自身利益的最大化,往往都是团体赛了。还要尽量判断出对方...

初中语文语言运用的题型有哪些一、积累型 1.成语积累 例:我国的成语,有许多来自古文(或寓言)中,如“讳疾忌医”就出于《扁鹊见蔡桓公》。请你从读过的古诗文(或寓言)中举出三例,并且说出作者和出处(或篇名)。 解题...

语言特点有哪些方面语言特色,又称语言特点,泛指一切语言相别于其它语言的风格特点。文化背景和情境的不同,使被选用的交流方式存在差异,这些差异,就是语言特色形成的基础。 文化背景和情境的不同,使...

目前深度学习在文本情感分析上都有哪些方法有两大类,一类是主观性:主观、客观、中性;一类是情感倾向:褒义、贬义、中性。文本分析的话,主要是对词、句子中观点的挖掘。你所说的机器学习法,现在基本用于对电影观点的打分系统...

语言运用能力的必要性应该从哪些方面体现再现生活经验;描述真实或想象的世界;完成具体任务或行动;……• “综合”的概念体现在哪些方面 ? 语言运用往往涉及多种知识和技能,而不只是单一的知识或技能(比如语言教学中常见...

自然语言处理有哪些实际开源项目新手学习自然语言处理有哪些实际开源项目新手学习,讨论人工智能哪个学校最厉害:最近我们实验室整理发布了一批开源NLP工具包,这里列一下,欢迎大家使用。未来不定期更新。2016年3月31日更...

推荐阅读
图文推荐