【Spark Summit East 2017】使用Spark对于灾难性事件进行建模

简介: 本讲义出自Shuai Zheng在Spark Summit East 2017上的演讲,分保公司的核心竞争力在于与像飓风和地震这样的灾难的风险量化评估能力,各种所谓的灾难模型往往是的公开的,可以获取到,但是处理这样灾难模型的数据量需要大数据能力和高性能,本讲义就介绍了如何使用Spark对于灾难性事件进行建模,并通过更加独特的理解获取核心竞争力。

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data;此外,通过Maxcompute及其配套产品,低廉的大数据分析仅需几步,详情访问https://www.aliyun.com/product/odps


本讲义出自Shuai Zheng在Spark Summit East 2017上的演讲,分保公司的核心竞争力在于与像飓风和地震这样的灾难的风险量化评估能力,各种所谓的灾难模型往往是的公开的,可以获取到,但是处理这样灾难模型的数据量需要大数据能力和高性能,本讲义就介绍了如何使用Spark对于灾难性事件进行建模,并通过更加独特的理解获取核心竞争力。


f4e0bff5b5a4b7cd71f8e4f5ee25cf1140849a32

83de96d5b2ce71dfb5bdffa57ebd2686c24e1505

3b5f3dfd19656a9aaaef9cf547e7ec09c1bad5e4

8fea7d6f14574029d335dba42d0348d5f9d0a6b2

1ad97d6d94983296f02cf1ea8cb892610530e400

a0a287b17053133d3766f928aeac3591dea5c6e5

69c93b265c9913141c8018b89bdbd6a16da04c02

40de0f3ce3e4319a39225228a077b47d81080c49

54ace2bd2cf9e7b3aabb7e681c31ede19f731479

aa5f49d7d20210628cfba053f8ad3b679ef8d016

59426dbb552cb0bc607a1bdfb3de7d9c57d2bee7

283af93e95a1e6cda7ea6447ae1b8cdbe0512265

3320e3375f59f880fa76ce63b612f5d7bd5982b7

6b63c110bf2dfb71607edf166b230b1a6b74ce66

030d3ca304835fadd61bec642193f2f196c34c51

26255076aaa641807abc6cabfac7e99e241430c4

b30067387c77b0229517128ffd497efaf85044aa

b70945b28337268f791f517189df223c9558384c

6fe85001f72f5cd74b7acd690958d07df5d00d14

093508ea9a813ad3305647d5bc4b048ecef0eac2

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
人工智能 分布式计算 Spark
SPARK + AI SUMMIT 2020 中文精华版线上峰会材料
SPARK + AI SUMMIT 2020 中文精华版线上峰会材料
SPARK + AI SUMMIT 2020 中文精华版线上峰会材料
|
机器学习/深度学习 人工智能 分布式计算
SPARK + AI SUMMIT 2020 中文精华版线上峰会—7月5日议题
SPARK + AI SUMMIT 2020 中文精华版线上峰会—7月5日议题介绍
SPARK + AI SUMMIT 2020 中文精华版线上峰会—7月5日议题
|
分布式计算 Prometheus Kubernetes
SPARK + AI SUMMIT 2020 中文精华版线上峰会—7月4日上午议题
SPARK + AI SUMMIT 2020 中文精华版线上峰会—7月4日上午议题发布
SPARK + AI SUMMIT 2020 中文精华版线上峰会—7月4日上午议题
|
SQL 人工智能 缓存
Spark 10年,作者 Matei 在 Spark + AI Summit 2020 上深情回顾,Photon 引擎首次曝光
在Spark + AI Summit 2020上, Matei 先生的keynote对 Spark 10 年做了非常精彩的演讲和深情的回顾。SparkSQL 重回巅峰,在性能上大幅超越 Presto。在过去几年,我们见过了太多的 benchmark,大家都在纷纷超越 Spark。Spark 3.0 这一进展可以说大大提振了大家对 Spark 的信心,可谓及时雨。
Spark 10年,作者 Matei 在 Spark + AI Summit 2020 上深情回顾,Photon 引擎首次曝光
|
人工智能 分布式计算 大数据
Spark + AI Summit 2020 中文议题有奖征集
北美 Spark + AI Summit 2020 盛会在即,Apache Spark 中国技术交流社区在此诚邀各位,代表国内开发者选择您最希望听到的主题,届时社区将联合国内顶尖技术专家一一展开中文形式分享。
Spark + AI Summit 2020 中文议题有奖征集
|
机器学习/深度学习 人工智能 分布式计算
Spark + AI summit 2019北美技术峰会华丽落幕
本次SAIC含盖了数据工程与数据科学的内容,包括AI产品化的最佳实践案例分享:超大数据规模下,利用流数据处理确保训练数据更新的时效性,完成数据质量监控,测试以及数据模型服务。也有对流行的软件框架如TensorFlow,SciKit-Learn,Keras,PyTorch,DeepLearning4J,BigDL以及Deep Learning Pipelines等,分别进行深入的主题分享探讨。
|
机器学习/深度学习 分布式计算 大数据
|
分布式计算 Hadoop 流计算
【Hadoop Summit Tokyo 2016】像搭乐高一样搭建Storm与Spark Streaming Pipelines块
本讲义出自Arun Murthy在Hadoop Summit Tokyo 2016上的演讲,主要介绍了Arun Murthy与团队的从各种流使用中学习到的最佳实践和经验,演讲的内容非常简单易懂并且非常有趣,在演讲的最后还介绍了像搭乐高一样搭建Storm与Spark Streaming Pipelines块的相应工具。
2467 0
|
分布式计算 安全 Hadoop
【Hadoop Summit Tokyo 2016】Apache Spark & Apache Zeppelin的安全状态
本讲义出自Vinay Shukla在Hadoop Summit Tokyo 2016上的演讲,主要介绍了 Spark的安全体系、以及YARN AM上的Spark驱动以及Kerberos身份验证等相关内容,最后还介绍了SparkSQL的相关内容。
2906 0