《大数据分析原理与实践》——小结

简介: 本节书摘来自华章计算机《大数据分析原理与实践》一书中的第2章,小结,作者 王宏志,更多章节内容可以访问云栖社区“华章计算机”公众号查看。

小结

本章介绍了大数据分析模型的基本概念。2.1节让读者对于大数据分析模型有了更加清晰的认识,介绍了大数据分析模型的建立方法,以及影响大数据分析效果的众多因素。只有针对实际问题,把握住影响实际问题的关键因素,才能得到让人满意的模型。2.2节介绍了基本统计量,包括全表统计量和皮尔森相关系数。在全表统计量中,根据反映出的数据特征类型可以将基本统计量分为两类:反映数据集中趋势的和反映数据波动大小的。能够反映数据集中趋势的度量包括均值、中位数和众数;能够反映数据散布情况的数据波动大小度量包括极差和方差。皮尔森相关系数是关联关系分析问题中常用的而且很重要的统计量。2.3节讲述了推断统计的基本知识,包括参数估计和假设检验。在参数估计部分,首先介绍了点估计,主要有矩估计和极大似然估计两种;接着探讨了估计量的评价标准,包括3条:无偏性、有效性、相合性(一致性)。对于区间估计,本章给出了单个正态总体参数的区间估计和两个正态总体参数的区间估计。在假设检验部分,给出了假设检验的定义和操作步骤,并给出了t检验和u检验的区别。最后,针对t检验的三种形式(单样本t检验、两个独立样本均数t检验和配对样本均数t检验)做了详细的介绍。

相关文章
|
3天前
|
存储 机器学习/深度学习 数据采集
大数据处理与分析实战:技术深度剖析与案例分享
【5月更文挑战第2天】本文探讨了大数据处理与分析的关键环节,包括数据采集、预处理、存储、分析和可视化,并介绍了Hadoop、Spark和机器学习等核心技术。通过电商推荐系统和智慧城市交通管理的实战案例,展示了大数据在提高用户体验和解决实际问题上的效能。随着技术进步,大数据处理与分析将在更多领域发挥作用,推动社会进步。
|
7月前
|
SQL 消息中间件 存储
从理论到实践,实时湖仓功能架构设计与落地实战
实时湖仓是「实时计算」和「数据湖」的一种结合应用场景,并不是具体指一个产品模块。本文主要介绍了平台通过相关功能的设计,让数据开发可以更简单更直观地了解 Flink Catalog、数据湖、流批一体等概念,并在实际业务场景中更方便地去落地实践。
134 0
|
存储 数据挖掘 大数据
大数据数据分析架构探究(二)
上一篇提到机器与机器之间交流,这里解释一下意思,其实说的是机器与机器间像人一样交流,但交流的密度更甚于人与人之间,甚至于远远超过人,因为它突破了很多人的限制。首先最重要突破的限制是交流的频率和交流的网络,交流的频率就是人与人交流一条消息的平均时间和机器与机器交流的时间的对比。
1256 0
|
存储 数据挖掘 大数据
大数据数据分析架构探究
从范式角度来讲,维度建模是以2NF的方式来描述数据,实体关系建模是以3NF的方式进行数据描述,由于分布式数据架构的兴起,使得维度建模得到了技术支持。换句话讲,现在数据增长的速度,对于现在的数据技术架构不再是技术瓶颈。
1529 0
|
Java 大数据 Linux
学习大数据分析需要什么基础?
顾名思义,大数据就是巨量数据,海量数据,也可以说是数量大,结构复杂,类型复杂的数据的集合。而从这些数据中获取有价值的信息的的能力,就是大数据技术。
1295 0
|
机器学习/深度学习 算法 大数据
《大数据分析原理与实践》——小结
本节书摘来自华章计算机《大数据分析原理与实践》一书中的第3章,小结,作者 王宏志,更多章节内容可以访问云栖社区“华章计算机”公众号查看。
1108 0
|
新零售 搜索推荐 大数据
《大数据分析原理与实践》——1.3 什么是大数据分析
本节书摘来自华章计算机《大数据分析原理与实践》一书中的第1章,第1.3节,作者 王宏志,更多章节内容可以访问云栖社区“华章计算机”公众号查看。
1733 0
|
存储 算法 数据挖掘
《大数据分析原理与实践》——1.4 大数据分析的过程、技术与难点
本节书摘来自华章计算机《大数据分析原理与实践》一书中的第1章,第1.4节,作者 王宏志,更多章节内容可以访问云栖社区“华章计算机”公众号查看。
3195 0
|
机器学习/深度学习 大数据
《大数据分析原理与实践》——第2章 大数据分析模型
本节书摘来自华章计算机《大数据分析原理与实践》一书中的第2章,作者 王宏志,更多章节内容可以访问云栖社区“华章计算机”公众号查看。
1435 0