阿里云大数据公众趋势预测

简介:

公众趋势预测

更新时间:2016-11-23 16:04:15

点此咨询顾问

互联网是触达用户、感知公众态势的最有效方式。通过公众趋势分析,业务方可以第一时间倾听用户心声,对正/负面消息快速响应,并通过预判用户群体对品牌和竞品的喜好倾向,指导产品和服务的改进升级。

应用场景

  • 政务机关:践行网上群众路线,广开言路,凝聚共识,提升服务效率和口碑。
  • 传媒行业:发现事件热点,梳理传播脉络,跟踪栏目受众的喜好倾向,鉴别新闻炒作。
  • 金融行业:商贷行业风险评估,P2P金融舆论风险评估,证券多空情绪波动与分析。
  • 地产行业:区块楼盘质量口碑监测,分析潜在业主的喜好倾向,物业服务质量评估。
  • 教育行业:关注教育资源供需平衡,校园热点事件预警,提高教育事业的满意度。
  • 医疗行业:关注医疗资源供需平衡,医患纠纷预警,提升医疗服务质量。
  • 旅游行业:倾听游客反馈,预判旅游出行趋势和热门程度,提升旅游服务的体验。
  • 企业品牌:分析消费者对品牌的认知和注意力迁移,关注竞品分析,塑造品牌口碑。

系统架构

公众趋势预测1

公众趋势分析整体业务架构如上图所示,底层采用成熟的商业化基础组件,可以弹性调度资源,保障系统稳定运行。

公众趋势分析通过分布式爬虫和神马搜索引擎,可采集的源站类型多种多样,包括:新闻门户、论坛贴吧、博客社区、微博微信、资讯客户端、RSS聚合、视频站点等。此外,通过关联业务方的数据接口,可以进一步整合站点浏览统计、资讯评论内容和消费点评内容等。

各类数据源进入公众趋势分析之后,经过去重去噪、正文萃取和自然语言处理,可以对舆情内容进行实时聚类分析、情感分析、热词提取、相似性分析和智能过滤,并且每一天离线计算全量舆情的聚类统计。

公众趋势分析既提供标准化的操作界面,同时也提供相应的API接口用于扩展性开发,进行个性化定制和业务集成。

技术优势

快速感知

公众趋势分析的采集模块对于高优先级源站最快2分钟获取数据,常规源站平均10分钟获取数据。利用对等计算框架、多租户隔离方案、多站点下载动态均衡技术、智能反爬策略动态调整等技术手段,结合上千台服务器的爬虫能力,采集模块可以保障数据在不被屏蔽的情况下及时快速获取。

信息覆盖全面

通过自建爬虫、神马搜索引擎接口、微博推送以及其他关联方的数据应用接口,可以对全网公开发布数据进行采集(千万源站,每日更新约20亿网页),覆盖各类网站、论坛、自媒体等。

特殊站点可直接在公众趋势分析中提交需求订制,后台审核后将自动完成网页的监控功能,保障信息渠道的全面覆盖。

算法精准高效

通过强大的机器学习算法、NLP自然语言处理算法、文本处理的协同处理,通过用户参与模型训练或者社会化标提供的数据语料,公众趋势分析已经实现以下指标:

  • 实时聚类最短在10ms即可一条信息与百万级数据匹配。实时聚类抽样准确率和离线聚类的准确率均在95%以上。
  • 情感分析的交叉验证准确率在90%以上。
  • 分类算法正确率在1千条语料/分类的情况下,交叉判定准确率可达到98%以上。
  • 智能过滤算法在基于1万条语料的前提下,准确率可达到80%以上。该算法可保障用户只看到希望看到的数据,而垃圾、广告、干扰信息均可通过智能过滤给排除掉。
  • 正文萃取算法进行百万新闻文章萃取验证的准确率可达到98%以上,论坛格式的内容正文萃取的准确率可达到90%以上。

海量信息智能化分析

公众趋势分析在文本相似性分析、自动聚类、自动分类和情感分析基础上,建立多个舆情指标,根据舆情指标和舆情分类的结果综合研判当前的宏观舆情态势。另外,通过各区域舆情对比功能,帮助用户及时准确地把握宏观舆情走势。提供实时信息预警机制,可以将短时间内发生的突发热点事件以及敏感新闻通过短信、邮件方式通知用户,同时可以帮助用户快速制作出关于相关舆情事件的统计简报。

公众趋势分析提供传播路径分析、热点事件分析、情感分析、热词云、标签分析、智能模版过滤。公众趋势分析通过应用ODPS及UDF自定义算法函数,可对舆情数据进行智能化的分析。以情感分析为例,我们以情感数量和全互联网影响力模型为基础,情感强弱作加权,附加中性舆情的偏离修正,达到舆情趋势的准确判断。例如,某个超级大V账号的一条微博,可能比10个普通账号发的10条微博所呈现的情感值更高。

全互联网影响力评估模型和用户打标舆情的数据,是为情感分析、智能分析作语料支撑的。用户对舆情打标签实质上是参与机器学习的模型训练,从而对每一条舆情的重要程度/是否有效进行判断,准确性不断提高,并且参与模型训练的过程完全自动化完成的,无需后台干预。用户使用时间越长,打标签的舆情越多,则训练出来的分析模型越准确。

一站式协同处理

处置功能丰富,包括数据标签、事件管理、观点、地点、标记、过滤、备注、自定义属性等。

数据可整理为简报资讯,通过PC端、无线端、邮件分享给他人,并且还可以由其他人参与互动,让所有关心舆情的人随时随地一起协同起来。

多语种采集及分析

爬虫采集能力理论上支持各种语言的抓取,通过在阿里云境外节点的部署,可实现对各类境外站点的采集监控。用户仅需要向后台提交需要监控的站点,遵循当地监管部门的相应法律法规,即可进行采集。

多语种的算法分析方面,规则引擎、情感分析、聚类分析、热词分析、智能分类、智能过滤等功能模块目前支持19种语言,包括:中文、英语、俄语、法语、日语、韩语、西班牙语,德语、葡萄牙语、荷兰语、意大利语,阿拉伯语、土耳其语、希伯来语、波兰语、印地语、印尼语、越南语、泰语。

智能在线翻译

结合阿里巴巴集团国际站多年积累的技术成果,公众趋势分析可将非英文的文本实时在线翻译为英文,并提供原始内容和翻译内容双向对比查看,从而方便对小语种的监控和分析。

开放API扩展能力

公众趋势分析定向开放API数据接口,合作伙伴可深度集成,为客户量身打造“限量版”。开发者可以通过API数据接口进行:关键词专题配置、关键词配置、接收实时抓取数据、微博传播路径分析,后续还可以利用现有数据在BI多维分析产品和可视化产品中做进一步的分析。

公众趋势分析的各项功能采用模块化设计,均可转换为API方式。根据业务方的实际需求,对应的功能模块可开放API调用。

品牌舆情大屏


TB1mq_BOpXXXXaqapXXXXXXXXXX-1920-1080.jp

TB1306MOpXXXXcxXVXXXXXXXXXX-1920-1080.jp

TB1ZV6zOpXXXXcSaXXXXXXXXXXX-1920-1080.jp


点此咨询顾问

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
2月前
|
人工智能 数据管理 Serverless
阿里云数据库走向Serverless与AI驱动的一站式数据平台具有重大意义和潜力
阿里云数据库走向Serverless与AI驱动的一站式数据平台具有重大意义和潜力
404 2
|
2月前
|
人工智能 运维 Cloud Native
、你如何看待阿里云数据库走向Serverless与AI驱动的一站式数据平台?
、你如何看待阿里云数据库走向Serverless与AI驱动的一站式数据平台?
147 2
|
2月前
|
存储 数据可视化 数据管理
基于阿里云服务的数据平台架构实践
本文主要介绍基于阿里云大数据组件服务,对企业进行大数据平台建设的架构实践。
698 0
|
2月前
|
人工智能 数据管理 大数据
阿里云数据库走向Serverless与AI驱动的一站式数据平台是一个很有前景和意义的发展方向
阿里云数据库走向Serverless与AI驱动的一站式数据平台是一个很有前景和意义的发展方向
33 2
|
1月前
|
人工智能 DataWorks 数据可视化
心动基于阿里云DataWorks构建游戏行业通用大数据模型
心动游戏在阿里云上构建云原生大数据平台,基于DataWorks构建行业通用大数据模型,如玩家、产品、SDK、事件、发行等,满足各种不同的分析型应用的要求,如AI场景、风控场景、数据分析场景等。
332 1
|
2月前
|
人工智能 运维 数据管理
阿里云数据库走向Serverless与AI驱动的一站式数据平台
阿里云数据库走向Serverless与AI驱动的一站式数据平台
271 2
|
2月前
|
人工智能 Cloud Native 数据管理
阿里云数据库:向Serverless与AI驱动的一站式数据平台迈进
众所周知,在人工智能迅猛发展的现在,在AI驱动下的数据平台,正在向一站式、智能化的方向演进,还有就是云原生+Serverless的不断深入,一站式数据平台将让数据管理开发像“搭积木”一样简单实用,以性价比更高、体验更优的云数据库服务,助推用户业务提效增速。据悉阿里云数据库正在朝着Serverless与AI驱动的方向发展,构建一站式、智能化的数据平台,这一发展趋势将为用户提供更简单、实用的数据管理开发体验,以提高业务效率和降低成本。那么本文就来分享一下如何看待阿里云数据库的这一转变,并展望云原生和Serverless对数据管理与开发的未来带来的更多可能性。
64 1
阿里云数据库:向Serverless与AI驱动的一站式数据平台迈进
|
2月前
|
人工智能 分布式计算 大数据
重磅!阿里云在海外市场推出系列AI大数据产品
重磅!阿里云在海外市场推出系列AI大数据产品
87 1
|
3月前
|
人工智能 大数据 Anolis
龙蜥多款镜像登陆阿里云 ACR 制品中心 AI /大数据镜像专场推荐榜
龙蜥社区作为 ACR 制品中心的重要合作伙伴,持续贡献丰富、安全、便捷、稳定的容器镜像,所贡献的镜像连续上榜 ACR 制品中心!
|
22天前
|
Ubuntu JavaScript 关系型数据库
在阿里云Ubuntu 20.04服务器中搭建一个 Ghost 博客
在阿里云Ubuntu 20.04服务器上部署Ghost博客的步骤包括创建新用户、安装Nginx、MySQL和Node.js 18.x。首先,通过`adduser`命令创建非root用户,然后安装Nginx和MySQL。接着,设置Node.js环境,下载Nodesource GPG密钥并安装Node.js 18.x。之后,使用`npm`安装Ghost-CLI,创建Ghost安装目录并进行安装。配置过程中需提供博客URL、数据库连接信息等。最后,测试访问前台首页和后台管理页面。确保DNS设置正确,并根据提示完成Ghost博客的配置。
在阿里云Ubuntu 20.04服务器中搭建一个 Ghost 博客

热门文章

最新文章