云场景实践研究第85期:墨迹天气

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
日志服务 SLS,月写入数据量 50GB 1个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
简介: 墨迹天气的API每天产生的日志量大约在2TB左右,主要的日志分析场景是天气查询业务和广告业务。墨迹天气通过借助阿里云数加平台的能力,可以充分利用移动端积累下来的海量日志数据,并且对用户使用情况和广告业务进行大数据分析。

更多云场景实践研究案例,点击这里:【云场景实践研究合集】联合不是简单的加法,而是无限的生态,谁会是下一个独角兽

墨迹运营团队每天最关心的是用户正在如何使用墨迹,在他们操作中透露了哪些个性化需求。这些数据全部存储在墨迹的API日志中,对这些数据分析,就变成了运营团队每天的最重要的工作。墨迹天气的API每天产生的日志量大约在2TB左右,主要的日志分析场景是天气查询业务和广告业务。墨迹天气通过借助阿里云数加平台的能力,可以充分利用移动端积累下来的海量日志数据,并且对用户使用情况和广告业务进行大数据分析。此外,利用阿里云数加大数据技术,基于对日志数据的分析,可以支持运营团队和广告团队优化现有业务。

“用户每天产生的日志量大约在2TB。我们需要将这些海量的数据导入云端,然后分天、分小时的展开数据分析作业,分析结果再导入数据库和报表系统,最终展示在运营人员面前。”

——章汉龙

墨迹天气运维部经理

正如上述展现的,整个过程中数据量庞大,且计算复杂,这对云平台的大数据能力、生态完整性和开放性提出了很高的要求。


采用的阿里云产品

  • 阿里云大数据计算服务 MaxCompute(原ODPS)
  • 阿里云大数据开发套件(DataIDE)
  • 阿里云流计算(StreamCompute)
  • 阿里云流式数据发布和订阅服务(DataHub)

为什么使用阿里云

对于用户正在如何使用墨迹的数据的分析是墨迹运营团队每天的最重要的工作,整个过程中数据量庞大,且计算复杂,这对云平台的大数据能力、生态完整性和开放性提出了很高的要求。

墨迹天气可以借助阿里云的力量提升数据分析工作的效率,并且可以节省存储空间,并且提升性能和稳定性。


关于 墨迹天气

墨迹天气所遇到的数据挑战

墨迹运营团队每天最关心的是用户正在如何使用墨迹,在他们操作中透露了哪些个性化需求。这些数据全部存储在墨迹的API日志中,对这些数据分析,就变成了运营团队每天的最重要的工作。墨迹天气的API每天产生的日志量大约在2TB左右,主要的日志分析场景是天气查询业务和广告业务。

“用户每天产生的日志量大约在2TB。我们需要将这些海量的数据导入云端,然后分天、分小时的展开数据分析作业,分析结果再导入数据库和报表系统,最终展示在运营人员面前。”墨迹天气运维部经理章汉龙介绍,整个过程中数据量庞大,且计算复杂,这对云平台的大数据能力、生态完整性和开放性提出了很高的要求。之前墨迹使用国外某云计算服务公司的云服务器存储这些数据,利用Hadoop的MapReducer和Hive对数据进行处理分析,但是存在以下问题:
1. 成本:包括存储、计算及大数据处理服务成本对比阿里云成本很高。
2. 网络带宽:移动端业务量大,需要大量的网络带宽资源支持,但数据上传也需要占用网络带宽,彼此之间相互干扰造成数据传输不稳定。


为什么选择阿里云?

墨迹天气基于阿里云的解决方案及架构
针对上述情况,墨迹将日志分析业务逐步迁移到阿里云大数据平台-数加平台之上。新的日志分析架构如页面下方架构图所示。

9d8c9a13a49ae58e90910bec11dc1cc55b4e9b6c

方案涉及的阿里云数加平台组件有:大数据计算服务(MaxCompute,原名ODPS)、大数据开发套件(DataIDE)、流计算(StreamCompute,规划中)、流式数据发布和订阅(DataHub)。另外,由于每天产生的数据量较大,上传数据会占用带宽,为了不影响业务系统的网络资源,墨迹天气开通了阿里云高速通道,用于数据上传。通过此种手段解决了网络带宽的问题。
通过阿里云数加日志分析解决方案,墨迹的业务得到以下提升:
1. 充分利用移动端积累下来的海量日志数据。
2. 对用户使用情况和广告业务进行大数据分析。
3. 利用阿里云数加大数据技术,基于对日志数据的分析,支持运营团队和广告团队优化现有业务。


墨迹天气拥抱阿里云所带来的成效

墨迹天气迁移到MaxCompute后,流程上做了优化,省掉了编写MR程序的工作,日志数据全部通过SQL进行分析,工作效率提升了5倍以上。在存储方面,MaxCompute的表按列压缩存储,更节省存储空间,整体存储和计算的费用比之前省了70%,性能和稳定性也有很大提升。此外还可以借助MaxCompute上的机器学习算法,对数据进行深度挖掘,为用户提供个性化的服务。阿里云MaxCompute提供更为易用、全面的大数据分析功能。MaxCompute可根据业务情况做到计算资源自动弹性伸缩,天然集成存储功能。通过简单的几项配置操作后,即可完成数据上传,同时实现了多种开源软件的对接。


关于墨迹天气的更多实践详情:云场景实践研究第2期:高德
原文发布日期:2018-01-31
云栖社区场景研究小组成员:贾子甲,仲浩。

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
打赏
0
0
0
0
83278
分享
相关文章
探索安卓开发:打造你的首个天气应用
在这篇技术指南中,我们将一起潜入安卓开发的海洋,学习如何从零开始构建一个简单的天气应用。通过这个实践项目,你将掌握安卓开发的核心概念、界面设计、网络编程以及数据解析等技能。无论你是初学者还是有一定基础的开发者,这篇文章都将为你提供一个清晰的路线图和实用的代码示例,帮助你在安卓开发的道路上迈出坚实的一步。让我们一起开始这段旅程,打造属于你自己的第一个安卓应用吧!
70 14
打造个性化天气应用:从概念到实现
【8月更文挑战第51天】在这篇文章中,我们将一起探索如何将一个天气应用的概念转化为现实。我们将深入讨论移动应用开发的核心概念,包括设计思路、技术选型、以及实际编码过程。通过一个简单的天气应用示例,你将学会如何利用现代移动开发工具和框架来创建自己的应用。无论你是编程新手还是有一定经验的开发者,这篇文章都将为你提供一条清晰的道路,帮助你理解并实践移动应用开发。
80 17
谷歌AI天气神算登Nature:30秒模拟22天天气,效率暴涨10万倍!
【8月更文挑战第9天】NeuralGCM是由谷歌AI团队开发的革命性天气预测模型,结合机器学习与传统大气物理模型,大幅提高了预测效率与准确性。它能在30秒内完成22天的天气模拟,效率比传统模型提升10万倍。NeuralGCM通过学习大量历史数据,其1至10天内的预测精度媲美甚至超过顶级模型,在极端天气预测方面也有出色表现。尽管尚存局限,如长期气候预测的精确度待提升,但NeuralGCM展现了在应对气候变化及气象挑战中的巨大潜力。【论文链接:https://www.nature.com/articles/s41586-024-07744-y】
62 7
打造个性化天气应用:从零到一的旅程
【8月更文挑战第31天】本文将带领读者踏上一段技术之旅,从无到有构建一个个性化的天气应用。我们将探索如何通过编程和设计思维,结合用户的实际需求,打造一个既实用又具有个人风格的天气预报工具。文章中不仅分享代码示例,还讨论了在开发过程中遇到的挑战以及解决方案,旨在启发读者思考如何在技术创造中融入个人特色,实现自我表达。
评论情感分析:2020年东京奥运会的微博用户数据 分析可视化 完整代码+数据 可直接运行
评论情感分析:2020年东京奥运会的微博用户数据 分析可视化 完整代码+数据 可直接运行
114 0
教程】天气预报应用集成台风信息功能的探讨
通过本教程,我们探讨了如何将台风信息功能集成到天气预报应用中。通过提供台风信息,我们可以帮助用户更好地了解台风的动态和可能影响的地区,提供更全面的天气信息,帮助用户做出明智的决策。希望本教程对你在开发天气预报应用时集成台风信息功能有所帮助!
202 0
本市天气(百度定位与车联网之天气查询)(一)
本市天气(百度定位与车联网之天气查询)(一)
162 0
本市天气(百度定位与车联网之天气查询)(一)
本市天气(百度定位与车联网之天气查询)(三)
本市天气(百度定位与车联网之天气查询)(三)
117 0
本市天气(百度定位与车联网之天气查询)(三)
本市天气(百度定位与车联网之天气查询)(二)
本市天气(百度定位与车联网之天气查询)(二)
120 0
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等