实用的Scala泛函编程

简介:

  既然谈到实用编程,就应该不单止了解试试一个新的编程语言那么简单了,最好通过实际的开发项目实例来演示如何编程。心目中已经有了一些设想;想用Scala泛函编程搞一个开源的数据平台应用系统,也就是在云平台PaaS层对上一层后台的数据应用平台。想想当电子商务和云应用真正普及后将会出现一大批没有云应用软件开发能力的用户。将来真正的云服务提供商,单提供虚拟机租赁服务是远不足够的,如果能提供一个具备计算资源自动扩展收缩、支持多种数据库以及一套简单的后台系统配置脚本语言(DSL:Domain Specific Language)的后台数据应用平台就能真正满足这些新用户对电子商务系统开发的需求。他们不需要掌握高深的分布式云应用软件开发技术,只要通过系统配置脚本语言就可以按所租赁虚拟机数量配置分布计算任务以及对各种数据库进行存取操作了。后台系统配置脚本语言DSL隐蔽了复杂的后台运行体系,用户面对的是抽象到Web Service层后面的一个应用层。这样他们可以沿用习惯的前台网页开发技术实现整个云应用软件系统的开发、实施。上面所提到的所谓开源项目是指在一定时间条件成熟后能有业内有共识的朋友一同参与到整个项目的开发。

   顺便把这个数据平台应用系统的初步计划透露一下。因为整个开发过程是以Scala泛函编程为主体并且会涉及到许多新的软件、中间件、子功能、开发技术,所以在这里先过一下:数据应用平台是一个寄存在云端的通用数据应用后台系统,与云端虚拟环境紧密结合,以一套定制的API对外开放。数据管理包括了实时交易数据库管理以及批次型大数据HDFS(Hadoop类型)数据管理,通过搜索引擎钻取数据。下面是一些子系统和可能使用的开发技术清单:

1、交易型数据库:MySql(固定格式数据表), MongoDb(自由格式文件类型数据库),PosgreSql(近期走热的开源固定格式数据库)

2、交易型数据库中间件:Slick

3、大数据数据库:Hbase(取其通用)、Accumulo(取其安全)

4、大数据环境:Hadoop、Spark

5、应用平台:Akka,可以跨JVM的分布式应用平台

6、Search:Lucent,可以用Scala调研现成的Lucent java库;修改或增加一些新功能如定制行业字典

7、Web Server: Jetty, 一个功能全面又紧凑简洁的开源软软件

8、Web Service: Spray, 与Akka紧密集成的开发框架

9、前端:Play, 当今运行效率最高的前端网页应用架构

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
7月前
|
Java Shell API
Scala和Kotlin脚本编程
Scala和Kotlin作为运行在JVM上的编程语言,解决了Java的很多痛点。今天我们来聊聊如何将Scala和Kotlin作为脚本语言使用(Java不支持以脚本形式运行哦)。
58 0
|
11月前
|
JSON 分布式计算 算法
Spark-编程进阶(Scala版)
Spark-编程进阶(Scala版)
|
11月前
|
存储 缓存 分布式计算
Spark RDD编程基础(Scala版)
Spark RDD编程基础(Scala版)
|
11月前
|
存储 大数据 Scala
大数据开发基础的编程语言的Scala的Actor编程
当谈到大数据开发时,Scala是一个非常流行的编程语言。Scala是一种静态类型的编程语言,它结合了面向对象和函数式编程范型。Scala为大数据处理提供了强大的支持,因此在许多大数据项目中被广泛使用。其中,Scala的Actor编程模型可以帮助我们设计和实现高效的并发系统。
71 0
|
SQL JSON 前端开发
Scala的面向对象与函数编程
Scala的面向对象与函数编程
Scala的面向对象与函数编程
|
Scala
Scala第2章 控制结构和函数(编程题)
Scala第2章 控制结构和函数(编程题)
129 0
Scala第2章 控制结构和函数(编程题)
|
Scala
Scala编程实验三
Scala编程实验三
111 0
Scala编程实验三
|
Serverless Scala
Scala编程实验一
Scala编程实验一
175 0
|
IDE Java Scala
IDEA上使用Scala编程方法
IDEA上使用Scala编程方法
93 0
IDEA上使用Scala编程方法
|
前端开发 Java Scala
Scala并发编程基础
1. Scala Actor概念 什么是Scala Actor 概念 Scala中的Actor能够实现并行编程的强大功能,它是基于事件模型的并发机制,Scala是运用消息的发送、接收来实现高并发的。
2032 0