1. 阿里云>
  2. 云栖社区>
  3. 主题地图>
  4. F>
  5. 分词概述

当前主题:分词概述

分词 概述

现有的分词算法可分为三大类:基于字符串匹配的分词方法、基于理解的分词方法和基于统计的分词方法。基于字符串匹配的分词方法 按照扫描方向的不同,串匹配分词方法可以分为正向匹配和逆向匹配;按照不同长度优先匹配的情况,可以分为最大(最长)匹配和最小(最短)匹配理解法

阅读全文

搜索引擎概述

对信息检索的评价——准确率和召回率。 相关文档:能够较好匹配用户搜索关键字的文档。 准确率,precision。检索出来的文档中,相关文档所占比例。 召回率,recall。全部相关文档中,被检索出来的文档的比例。 垂直搜索,vertical search。针

阅读全文

Java Web技术架构方案概述

大型网站系统架构的演进都是随着业务增长不断演进,所有的出发点都是为了满足业务需求。最初访问量下,功能简单时,单体软件可以解决所有问题;后来访问量逐渐增大,功能愈加丰富,此时单体软件的架构逐渐成为开发和运维的瓶颈。所以微服务拆分,集群化部署,消息中间件,内存数

阅读全文

01 面向就业的人工智能学习概述

相信很多人对于AI的作用以及将来工作的方式存在很多疑问,这里简单得和大家分享一下我的一些心得。 实际上在之前Python-科学计算库当中涉及到的模块,比如numpy基础建模、pandas数据处理、matplotlib统计绘图,都是为机器学习打基础的。让大家初

阅读全文

编译原理笔记1:概述编译相关的基本知识

编译器的工作步骤 在开始说任何东西之前,我们先来大致看一下编译器是怎么工作的——从代码到程序,大概要经过下面这样的步骤——这里用粗浅的语言进行解释,先有个印象即可,后面还会提到 词法分析:编程语言的语句,由一堆堆的单词组成——比如变量类型名、变量名、函数名、

阅读全文

elasticsearch使用指南之Elasticsearch Search API 概述与URI Search

本节开始,将详细介绍Search API。 1、Search API概述 详细API如下: public final SearchResponse search(SearchRequest searchRequest, RequestOptions opti

阅读全文

个性化阅读的过去、现在和未来(一)·概述

个性化阅读的过去、现在和未来(一)·概述 郑昀 20110414 以前曾经撰文讲过Topic Engine的过去、现在和未来。Topic Engine是一个生生不息的应用方向,因为从News Group、邮件列表、聊天室、论坛、Google News、博客圈子

阅读全文

hanlp源码解读之字符正规化CharTable

概述:字符正规化是指在分词之前把繁体转成简体、大写转成小写等,在自然语言处理中这是必不可以的一个步骤!在hanlp中的实现方法是基于词典的,也就是正规则字符对照表。就是“data/dictionary/other/CharTable.txt” 这个词典,打开

阅读全文