袋鼠云助力光伏产业 | 基于阿里云数加平台做算法预测

简介: 随着大数据技术的蓬勃发展,现在关于大数据技术在各行各业的实践也如火如荼。 那么当大数据技术遇到光伏行业会产生何样的化学反应呢? 下面就和大家一起分享一下袋鼠云是如何使用阿里云数加平台和机器学习平台助力光伏行业的。

随着大数据技术的蓬勃发展,现在关于大数据技术在各行各业的实践也如火如荼。


那么当大数据技术遇到光伏行业会产生何样的化学反应呢?


下面就和大家一起分享一下袋鼠云是如何使用阿里云数加平台和机器学习平台助力光伏行业的。


说明:

为保护客户数据隐私,本文未透露客户名称,并将相关数据进行了马赛克处理。


01  光伏大数据实践简介


  光伏行业为什么适合大数据技术


原因有二:光伏行业涉及的数据面很“广”; 光伏行业涉及的数据量很“多”。



976e77c3e53f02929a92d150e22ab49157ef4804

从狭义上来看:光伏行业拥有各个电站实时采集的光伏发电数据以及周边环境数据

从广义上来看:光伏数据除了光伏电站全生命周期(规划及设计、建造及验收、监测及控制、运维及管理、资产评估及交易)的所有数据外,太阳辐射数据、气象数据、地理数据以及一些购电协议等相关业务数据,也包括其中。


  光伏大数据应用的价值


1. 电力调度


国家能源局下发的《2015年度全国光伏年度计划新增并网规模表》征求意见稿显示,2015年全国新增光伏发电并网规模将高达15GW。


随着光伏发电量在社会发电总量所占的比例越来越高,目前光伏电站所监测的发电数据仅用于常规运维及计量计价的现状急需改变。


通过对整个光伏发电数据的检测,将光伏发电加入到整个电网调度之中,这也是未来的一种趋势。

 

如此背景下,光伏发电企业急需解决的一个问题,则是如何准确地了解到自身能产生多大规模的电力供应。在此基础上,才能通过对大数据技术的运用,对设备状态、电能负载等数据的分析、挖掘,实现精准调度,做到分布式电源的有效共享。


44292c69f830efe3c10a11677a7e536b288300b6




2. 提升用电效率


《关于进一步深化电力体制改革的若干意见》将 “ 积极开展电力需求侧管理和能效管理,完善有序用电和节约用电制度”列为五项基本原则的重要内容,明确要“通过运用现代信息技术、培育电能服务、实施需求响应等,促进供需平衡和节能减排 ” 。


在这种大背景下,光伏电站以及正在开展分布式光伏项目的企业也应积极参与,与需求侧响应管理相配合,提升发电能效。


通过集成光伏大数据,形成分析引擎,提供光伏电站的实时监测和即时数据分析,并据此对用户进行需求响应管理,引导用户于光伏发电高峰时多用电,光伏发电低谷时少用电,优化用电方式,提高供电效率。


另外,在光伏大数据监测分析引擎的基础上,更多创新的商业模式也将随之涌现,如节能建筑设计和智能家电设计等。分析和利用光伏电站提供的光伏大数据,提供准确的用电预测,节电的同时,也管理着把电送到哪里,哪里的电可以并网。通过与需求侧响应管理相配合,光伏发电可以实现按需动态调配生产、传输和消费,达到提高效率、节能减排的目的。


3.  故障检测


通过光伏行业的快速发展,各种光伏的监控平台也在不断的推出,他们可以监测光伏电站统计的实时运行数据,比如:今日发电量、昨日发电量、电站实时效率以及电站运行状态等,并可以在某些指标出现异常波动时,发出异常预警,方便工作人员提早排查,提前防范,减少损失等。毋庸置疑,在这个过程中,数据发挥的作用非常重要。

 

02  阿里云大数据平台


工欲善其事,必先利其器。


作为国内大数据领域的标杆企业,阿里云的大数据技术在国内同样遥遥领先。


阿里云完整的大数据生态,使得企业无需关注底层技术架构实现,可以将更多的精力放在对自身业务数据的应用上,从而快速拥有大数据能力

 

  阿里云大数据分析利器 MaxCompute

 

大数据计算服务(MaxCompute,原名ODPS),是一种快速、完全托管的TB/PB级数据仓库解决方案。


MaxCompute向用户提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速地解决用户海量数据计算问题,有效降低企业成本,并保障数据安全。


MaxCompute主要服务于批量结构化数据的存储和计算,可以提供海量数据仓库的解决方案以及针对大数据的分析建模服务。


随着社会数据收集手段的不断丰富及完善,越来越多的行业数据被积累下来。数据规模已经增长到了传统软件行业无法承载的海量数据(百GB、TB、乃至PB)级别。在分析海量数据场景下,由于单台服务器的处理能力限制,数据分析者通常采用分布式计算模式。


但分布式的计算模型对数据分析人员提出了较高的要求,且不宜维护。使用分布式模型,数据分析人员不仅需要了解业务需求,同时还需要熟悉底层计算模型。


MaxCompute的目的是为用户提供一种便捷分析处理海量数据的手段。用户可以不必关心分布式计算细节,从而达到分析大数据的目的。


目前,MaxCompute已经在阿里巴巴集团内部得到大规模应用,例如:大型互联网企业的数据仓库建设和BI分析、网站日志分析、电子商务网站交易分析、用户特征和兴趣挖掘等。


  分析型数据库(AnalyticDB)


阿里云分析型数据库 (原名ADS),让海量数据和实时与自由的计算可以兼得,实现了速度驱动的大数据商业变革。


一方面: 分析型数据库拥有快速处理百亿级别数据的能力,使得数据分析中使用的数据可以不再是抽样的,而是业务系统中产生的全量数据,使得数据分析的结果具有最强的代表性。


而更重要的是:分析型数据库采用云计算技术,拥有强大的实时计算能力,通常可以在数百毫秒内完成十亿百亿的数据计算,使得使用者可以根据自己的想法在海量数据中进行自由探索,而不是根据预先设定好的逻辑查看已有的数据报表。


同时:由于分析型数据库能够支撑较高并发查询量,并且通过动态的多副本数据存储计算技术来保证较高的系统可用性,所以能够直接作为面向最终用户(End User)的产品(包括互联网产品和企业内部的分析产品)的后端系统。


6e5964a15c7a93258baab00be93f07932667142b


  阿里云大数据平台(DataIDE)


大数据开发套件(Data IDE),提供可视化开发界面、离线任务调度运维、快速数据集成、多人协同工作等功能,为大数据开发者提供一个高效、安全的离线数据开发环境。


并且该套件拥有强大的Open API为数据应用开发者提供良好的再创作生态,平台使用者只需要通过拖拽的方式就可以完成一个工作流的开发。

c3c8b6ab245dd8eb85dffde04ca0d4a0ce0df183

  阿里云机器学习平台(PAI) 


数加·机器学习基于阿里云飞天计算引擎,提供高质量机器学习算法以及低门槛的操作方式,真正实现为业务插 上人工智能的翅膀。 

功能优势和特点: 

○ 深度学习(GPU):平台已经支持 Tensorflow、MXNet、Caffee 等行业主流深度学习框架,支持底层 GPU 集群的多卡灵活调用。 

○ 可视化操作界面:机器学习平台提供可视化的操作界面,通过拖拉拽的方式拖动算法组件拼接成实验,操作流 程类似于搭积木。

○ 一站式服务:提供一站式的服务体验,数据的清洗、特征工程、机器学习算法、评估、在线预测以及离线调度 都可以在平台上一站式使用。

○ 算法丰富:提供 100 余种算法组件,覆盖回归、分类、聚类、文本分析、关系挖掘等算法。

dd6c51cf4ade1c0f9dcdfa3ea02b23225ad5280b





03  光伏行业应用实践


古人云“鉴往而知未来”。不错,在今天的大数据时代,通过对历史数据的分析、挖掘,我们能发现某些潜在的规律,根据这些规律我们对未来的结果可以做一定的预测。


  客户的诉求


该客户是一家做光伏逆变器生产的公司,公司的业务主要集中在光伏的分布式能源领域,业务以每年50%的增长率快速爆发,光伏能源前景一片大好。


目前,该客户想要对自身分布式的光伏发电进行管理并提供一定的增值服务,比如:家庭电量合理利用控制,手机app展现发电量预测图。这一切的实现都要依赖于对光伏发电功率的预测。


客户目前已经采集了很多电站的数据,包括逆变器的电压、电流、功率以及电站周围的环境数据(太阳辐射、温度、风速等)。我们基于客户采集的数据进行数据处理,建立预测算法模型、并对模型进行训练、评估,希望最终实现客户诉求。


因为客户的系统和数据都是在阿里云上,所以我们采用的方案为 “ 数加+机器学习平台+Quick BI ” 

 

  光伏发电功率预测结构图


根据我们做过的一些光伏行业的预测案列,我们整理出来关于发电功率预测的流程图如下:


e0a0770fd6b562577a662c44dbc7eb012be8d317



  算法模型构建


阿里云的机器学习平台提供了很多优秀的组件可供选择,开发同学只要通过拖拽的方式便可以进行算法模型的建立、训练以及评估。机器学习平台沉淀了诸多阿里集团内部优秀的算法,开发者可以基于该平台,快速构建算法模型。



e1cdb0541bb3f5bcc0528a5e3b65ede28906cfde

7bef39d236403f2652f2cacb89562f1968585bff


  预测效果


机器学习平台提供了算法模型的评估模块,我们可以对训练的算法模型进行评估。

f345a14d116a533f1a68ba3e47933c0d876f2257



将预测结果导入BI系统中看预测结果的拟合效果:


d2239d7f2440ca072ca70f7afe22d4fea152ff7f

04  项目意义


随着污染越来越严重,发展“新能源”已经上升为国家战略,未来将是一个新能源时代。分布式电源未来会走进千家万户,通过基于功率数据进行发电功率预测,可以为客户提供更多的增值服务,拥抱电力市场化的大环境。


如何精准预测光伏发电也将是业界一个重要的课题,欢迎大家和袋鼠云一起探索新能源时代的新思路、新方法。


 文章转自袋鼠云公众号


相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
1月前
|
机器学习/深度学习 人工智能 算法
【AAAI 2024】再创佳绩!阿里云人工智能平台PAI多篇论文入选
阿里云人工智能平台PAI发表的多篇论文在AAAI-2024上正式亮相发表。AAAI是由国际人工智能促进协会主办的年会,是人工智能领域中历史最悠久、涵盖内容最广泛的国际顶级学术会议之一,也是中国计算机学会(CCF)推荐的A类国际学术会议。论文成果是阿里云与浙江大学、华南理工大学联合培养项目等共同研发,深耕以通用人工智能(AGI)为目标的一系列基础科学与工程问题,包括多模态理解模型、小样本类增量学习、深度表格学习和文档版面此次入选意味着阿里云人工智能平台PAI自研的深度学习算法达到了全球业界先进水平,获得了国际学者的认可,展现了阿里云人工智能技术创新在国际上的竞争力。
|
3月前
|
机器学习/深度学习 PyTorch 算法框架/工具
在阿里云机器学习平台上布置一个PyTorch模型
在阿里云机器学习平台上布置一个PyTorch模型【1月更文挑战第21天】【1月更文挑战第105篇】
162 1
|
1月前
|
机器学习/深度学习 算法 搜索推荐
外卖平台推荐算法的优化与实践
外卖平台推荐算法的优化与实践
|
1月前
|
弹性计算 安全 定位技术
幻兽帕鲁服务器搭建攻略:【阿里云平台快速上手指南】
2024年,火爆畅销的《幻兽帕鲁》游戏让无数玩家着迷不已!那么,您是否急切想要拥有一个能与伙伴们一起畅快玩耍的游戏服务器呢?现在就跟随若城的脚步,一起动手搭建一个属于自己的《幻兽帕鲁》服务器吧!让这个新年有心意
|
2月前
|
弹性计算 Linux 数据安全/隐私保护
幻兽帕鲁服务器搭建攻略:阿里云平台快速上手指南
2024年,火爆畅销的《幻兽帕鲁》游戏让无数玩家着迷不已!那么,您是否急切想要拥有一个能与伙伴们一起畅快玩耍的游戏服务器呢?现在就跟随若城的脚步,一起动手搭建一个属于自己的《幻兽帕鲁》服务器吧!让这个新年有心意, 让这个寒假更有趣
75094 10
|
1月前
|
缓存 运维 监控
应用研发平台EMAS 常见问题之用华为的推送界面阿里云收不到如何解决
应用研发平台EMAS(Enterprise Mobile Application Service)是阿里云提供的一个全栈移动应用开发平台,集成了应用开发、测试、部署、监控和运营服务;本合集旨在总结EMAS产品在应用开发和运维过程中的常见问题及解决方案,助力开发者和企业高效解决技术难题,加速移动应用的上线和稳定运行。
382 2
|
1月前
|
存储 算法
【数据结构与算法】【腾讯阿里链表面试题】算法题--链表易懂版讲解
【数据结构与算法】【腾讯阿里链表面试题】算法题--链表易懂版讲解
|
1月前
|
存储 数据采集 Apache
众安保险 CDP 平台:借助阿里云数据库 SelectDB 版内核 Apache Doris 打破数据孤岛,人群圈选提速4倍
随着业务在金融、保险和商城领域的不断扩展,众安保险建设 CDP 平台以提供自动化营销数据支持。早期 CDP 平台依赖于 Spark + Impala + Hbase + Nebula 复杂的技术组合,这不仅导致数据分析形成数据孤岛,还带来高昂的管理及维护成本。为解决该问题,众安保险引入 Apache Doris,替换了早期复杂的技术组合,不仅降低了系统的复杂性,打破了数据孤岛,更提升了数据处理的效率。
众安保险 CDP 平台:借助阿里云数据库 SelectDB 版内核 Apache Doris 打破数据孤岛,人群圈选提速4倍
|
2月前
|
人工智能 算法 数据安全/隐私保护
AIGC变革下人工智能平台的算法黑箱问题
AIGC变革下人工智能平台的算法黑箱问题
180 1
AIGC变革下人工智能平台的算法黑箱问题
|
3月前
|
算法 搜索推荐 Java
太实用了!阿里内部强推的超全Java算法学习指南,已被彻底征服
算法和数据结构一直以来都是程序员的基本内功。 数据结构可以看作是算法实现的容器,通过一系列特殊结构的数据集合,能够将算法更为高效而可靠地执行起来。