Spark机器学习实战 (十一) - 文本情感分类项目实战

  1. 云栖社区>
  2. Java技术进阶>
  3. 博客>
  4. 正文

Spark机器学习实战 (十一) - 文本情感分类项目实战

javaedge 2019-04-19 21:23:22 浏览654
展开阅读全文

0 相关源码

将结合前述知识进行综合实战,以达到所学即所用。文本情感分类这个项目会将分类算法、文本特征提取算法等进行关联,使大家能够对Spark的具体应用有一个整体的感知与了解。

1 项目总体概况

2 数据集概述

3 数据预处理

4 文本特征提取

提取,转换和选择特征
本节介绍了使用特征的算法,大致分为以下几组:

  • 提取:从“原始”数据中提取特征
  • 转换:缩放,转换或修改特征
  • 选择:从中选择一个子集一组更大的特征局部敏感散列(LSH):这类算法将特征变换的各个方面与其他算法相结合。
    (TF-IDF) 是在文本挖掘中广泛使用的特征向量化方法,以反映术语对语料库中的文档的重要性。

用t表示一个术语,用d表示文档,用D表示语料库。术语频率TF(t,d)是术语t出现在文档d中的次数,而文档频率DF(t,D)是包含术语的文档数T

如果我们仅使用术语

网友评论

登录后评论
0/500
评论
javaedge
+ 关注
所属云栖号: Java技术进阶