好程序员大数据培训分享spark之Scala

简介:

  好程序员大数据培训分享spark之Scala,基本语法:变量,变量的定义:不可变:val a = 2 或者 val a : Int = 2 (指定了数据类型) lazy val a : Int =2
可变:var a = 2 或者 var a : Int = 2(指定了数据类型)
def a = 2
定义变量不能1.以数字以及特殊符号(_除外)开头 2.以关键字(var、val、class等)开头
def定义的是??
var 编译后有set 与 get 方☐法 所以可以重新赋值
val 编译后只有get方法 所以不能再赋值了
lazy 惰性变量,只在该变量被调用的时候才实例化,而且后面只能跟val
def 与val 差不多 不能重新赋值 更多修饰方法
Scala变量的类型:Any是scala的顶级类型,Any下有AnyVal(值类型)和AnyRef(引用类型)两个子类
AnyVal : 它有9个类型,其中7个是指类型:Double Float Byte Int Short Long Char 和两个非值类型:Unit Boolean
AnyRef : 是引用类型,它的子类有:List Option 或者自定义的并继承它的class
所有的类型都需要首字母大写
Scala会自动推断类型
Scala数据类型可以从低到高转换 Byte-Short-Int-Long-Float-Double
Char-Int-Long-Float-Double
注意:scala内没有强转
操作符
Scala里没有操作符的概念,所谓的操作符其实都是方法
数学运算:+ - * / : % .+ ( ) 注:x+y 与 x.+(y)等价
关系:< <= > >= ! != ==
位运算: | & ^
如果两个不一样类型的变量进行运算,最终结果的类型是大的那个类型
如果想要格式化输出:var x =5 var y = 5
var n =x + y
print(s”x+y=$n”) 输出结果 x+y=10
当然也可以在结果前面加字符串”x+y”
条件表达式
这种打出来是空,因为else里不是一个值,而是一个赋值语句
正常应该是 var res = if(sex == 1){“男”}else{“女”}
因为大括号里只有一个‘表达式’,大括号可以省略
var res = if(sex == 1)“男”else“女”
for循环
for(i<- 1 to 10){println (i)} //打印1-10
for(i <- 1 until 10){println (i)} //打印1-9
val arr = Array(“java”,”scala”,”python”) //定义一个数组
for(i<- arr){println (i)} //打印数组内容
for(i <- 1 to 3 ;j <- 1 to 3 if(i != j)){println(i*10+j)} //相当于双层for循环
val arr =for(i <- 1 until 10) yield (i) //把0-9循环出来后封装进arr集合
val arr =for(i <- 1 until 10) yield (i*10)
val res2 = for(i <- arr if i%2 == 0) yield i*100 //过滤
val arrf = bf.filter(_ %2==0).map(_ *100) //过滤 _ 是全部数据的意思
在scala中不支持break语句,但在scala 2.8之后 可以利用Breaks方式来实现
方法
def m1(x : Int , y : Int ) : Int = {x + y} //三种声明方式
def m2(x:Int , y:Int) {print(x+y)}
def m3(x:Int , y:Int){x+y}
解释:m1是方法名 xy是int型的参数 括号外的int是返回值类型 x+y是方法
调用:m1 (3,4)
函数
val f1 = (x:Int , y:Int) => x+y //声明
val f1 = (x:Int , y:Int) =>{
val sum = x+y
sum*100} //最后一句作为函数的返回值 函数没有返回值类型
回车之后会看到
f1: (Int, Int) => Int =
这里的function2中的2指的是参数的个数
调用:f1 (3,4) //与方法的调用一致
函数与方法的关系???
我们通过一个案例来探讨:
首先创建一个方法:def func (yAge:Int,mAge:Int):String={
val a : Boolean = yAge >= mAge
val str : String = if(a) "哥哥" else "弟弟"
str
}
我们发现这个条件可以做成一个函数:val m = ( yAge:Int , mAge:Int ) = >{yAge >= mAge}
我们可以调用函数:def func1 (yAge:Int,mAge:Int):String={
val a : Boolean = m(yAge,mAge)
val str : String = if(a) "哥哥" else "弟弟"
}
我们也可以把函数当做一个参数传入到方法中:
def func1(yAge:Int,mAge:Int,f:(Int,Int) =>Boolean):String={
var a= f(yAge,mAge) 或者var a :Boolean = f(yAge,mAge)
val res : String=if(a)"哥哥" else "弟弟"
res
}
调用: println(func1(18,20,m))

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps&nbsp;
相关文章
|
3月前
|
机器学习/深度学习 SQL 分布式计算
Apache Spark 的基本概念和在大数据分析中的应用
介绍 Apache Spark 的基本概念和在大数据分析中的应用
159 0
|
13天前
|
分布式计算 Hadoop 大数据
大数据技术与Python:结合Spark和Hadoop进行分布式计算
【4月更文挑战第12天】本文介绍了大数据技术及其4V特性,阐述了Hadoop和Spark在大数据处理中的作用。Hadoop提供分布式文件系统和MapReduce,Spark则为内存计算提供快速处理能力。通过Python结合Spark和Hadoop,可在分布式环境中进行数据处理和分析。文章详细讲解了如何配置Python环境、安装Spark和Hadoop,以及使用Python编写和提交代码到集群进行计算。掌握这些技能有助于应对大数据挑战。
|
3月前
|
机器学习/深度学习 SQL 分布式计算
介绍 Apache Spark 的基本概念和在大数据分析中的应用。
介绍 Apache Spark 的基本概念和在大数据分析中的应用。
|
1天前
|
分布式计算 大数据 数据处理
[AIGC大数据基础] Spark 入门
[AIGC大数据基础] Spark 入门
|
2月前
|
分布式计算 Java Scala
spark 与 scala 的对应版本查看、在idea中maven版本不要选择17,弄了好久,换成11就可以啦
spark 与 scala 的对应版本查看、.在idea中maven版本不要选择17,弄了好久,换成11就可以啦
104 2
|
2月前
|
分布式计算 大数据 Java
Spark 大数据实战:基于 RDD 的大数据处理分析
Spark 大数据实战:基于 RDD 的大数据处理分析
122 0
|
2月前
|
分布式计算 数据处理 Scala
Spark 集群和 Scala 编程语言的关系
Spark 集群和 Scala 编程语言的关系
29 0
|
3月前
|
分布式计算 监控 大数据
Spark RDD分区和数据分布:优化大数据处理
Spark RDD分区和数据分布:优化大数据处理
|
3月前
|
分布式计算 Java Scala
Spark编程语言选择:Scala、Java和Python
Spark编程语言选择:Scala、Java和Python
Spark编程语言选择:Scala、Java和Python
|
大数据 Java Scala
大数据Scala系列之模式匹配和样例类
大数据Scala系列之模式匹配和样例类1.样例类在Scala中样例类是一中特殊的类,样例类是不可变的,可以通过值进行比较,可用于模式匹配。定义一个样例类:1.构造器中每一个参数都是val,除非显示地声明为var 2.
828 0