深度学习将会变革NLP中的中文分词

  1. 云栖社区>
  2. 雷锋网>
  3. 博客>
  4. 正文

深度学习将会变革NLP中的中文分词

青衫无名 2017-08-01 16:50:00 浏览2179
展开阅读全文

雷锋网(公众号:雷锋网)按:本文转自ResysChina高翔,文章主要介绍了1)区分中文分词的方法;2)用深度学习的方法来解决中文分词的好处及其具体应用。


现有分词介绍

自然语言处理(NLP,Natural Language Processing)是一个信息时代最重要的技术之一,简单来讲,就是让计算机能够理解人类语言的一种技术。在其中,分词技术是一种比较基础的模块。对于英文等拉丁语系的语言而言,由于词之间有空格作为词边际表示,词语一般情况下都能简单且准确的提取出来。而中文日文等文字,除了标点符号之外,字之间紧密相连,没有明显的词边界,因此很难将词提取出来。分词的意义非常大,在中文中,单字作为最基本的语义单位,虽然也有自己的意义,但表意能力较差,意义较分散,而词的表意能力更强,能更加准确的描述一个事物,因此在自然语言处理中,通常情况下词

网友评论

登录后评论
0/500
评论
青衫无名
+ 关注
所属云栖号: 雷锋网