Python数据可视化1.1 数据、信息、知识和观点

简介:

摘要


数据可视化概念框架

当代,网络和社交媒体的兴起,产生了大量数据,而且数据量的增长已超乎想象。这种现象是怎么发生的?又是何时发生的?

十年前,一种处理问题的新方法演变为:跨企业的从数据源收集、整合大量数据,并进行运算的研究工作。他们这样做的目标是用海量数据改善决策过程。在此期间,促使Amazon、Yahoo和Google这样的公司在处理大量数据方面取得了显著进展。这些里程碑式的成就促使一些大数据分析技术的诞生。当然,我们不会追究大数据的细节问题,但是我们将尝试探索,为什么很多机构改变了他们以往的模式,用类似的想法获得更好的决策。

到底如何用这些海量数据做出更好的决策?这是我们的终极目标,但首先让我们理解数据、信息和知识间的差异,以及它们与数据可视化之间的关系。或许会有这样一个疑问,为什么要讨论数据、信息和知识。我们将就下面的脉络具体展开:怎样开始、用什么开始、这些内容如何有益于问题解决,以及可视化的作用。我们将通过简要回顾涉及的程序步骤,确定数据可视化所需的概念框架。

本章将包括以下主题:

数据、信息、知识和观点之间的差异

信息转化为知识,进而转化为观点

收集、处理和组织数据

数据可视化的历史

数据可视化如何帮助决策

可视化图像


1.1 数据、信息、知识和观点


数据、信息和知识被广泛用于计算机科学领域。通常,这些术语有很多种充满争议且不相一致的定义。在深入研究这些定义之前,我们先理解这些术语与可视化之间的关系。数据可视化的主要目标是从数据或信息中得出观点(隐含的真理)。本书有关数据、知识和观点的整个讨论属于计算机科学的范畴,而非心理学或认知科学。认知科学方面的文献请参见:https://www.ucsf.edu/news/2014/05/114321/converting-data-knowledge-insight-and-action

1.1.1 数据

数据是得出结论的前提。尽管在一些特定的背景下,数据和信息看起来相关联。但实际上,数据是离散、客观事实的数字表示。作为后续工作的基础,数据会有不同的组织和安排形式,以方便得到回答实际问题的有用信息。

数据可以是非常简单却庞大冗杂的。离散数据本身不能用于决策。这是因为它没有意义,而且更重要的是,它们之间没有结构或关系。数据收集、转换和储存的过程因数据类型和储存方法的不同而有很多变化。数据有很多形式,一些常见形式如下:

CSV文件

数据库表格

文件格式(Excel、PDF、Word等)

HTML文件

JSON文件

文本文件

XML文件

1.1.2 信息

信息是处理后的数据,为实际问题提供答案。当我们增加一种关系或一个关联时,数据就成为信息。这种关联通过提供数据背景来完成。这个背景有助于我们回答数据相关的问题。

比如,我们假定一名篮球员的数据包含身高、体重、位置、大学、出生日期、应招入队,选拔轮数,NBA-登场和新成员排名。问题“哪位球员是首位应征入队、身高在6英尺以上且担任控球后卫?”的回答是一条信息。

类似地,每个球员的得分也是一条数据。问题“今年每次比赛得分最高的选手是谁?分数是多少?”的回答“LeBron James,27.47”同样也是一条信息。

1.1.3 知识

当人类解释和组织信息,并用以决策时,知识便应运而生。知识是数据、信息和通过经验获得的技能。知识包括做出适当决策的能力和执行时所需的技能。

作为必不可少的部分(连接数据)允许我们理解每条信息的相对重要性。通过比较过去的结果和识别模式,我们不必从头开始寻找问题的解决方法。下图总结了数据、信息和知识的概念。

 

知识以不断增长的方式发生变化,特别是当信息被重新安排或被重新组织,或在一些计算算法发生变化时。知识像箭一样直击算法的结果,该算法与来自数据的过去信息有关。在许多情况下,可以通过与结果的视觉交互获得知识。另一方面,观点开启了通向未来的途径。

1.1.4 数据分析和观点

在我们深入研究观点的定义及其如何与实际问题相关联之前,我们不妨先看看如何获取观点。十年间,组织机构已尽力弄懂他们拥有的所有数据和信息,特别是探索数据量的大小。为了基于已有数据信息得到最佳或现实的决策,他们发现了数据分析的重要性(也就是数据分析学或分析学)。

分析学依赖数学算法来确定产生观点的数据间的关系。一种简单的方式是通过打比方来理解观点:当数据没有结构且与实际问题相对应时,通过将数据结构化,使其更接近实际目标,这有助于人们更清晰、更深刻地理解数据。观点是“我发现了”的那个时刻,得到突破性的结果。一个人不应该困惑于术语分析学和商务智能。当商务智能提供基于历史数据的分析结果时,分析学就具备了预测能力。

分析学通常用于更广泛的数据,为此,数据内外之间的协作时常发生。在一些实际问题的范式中,这种协作仅发生在海量数据的内部,但在大多数情况下,加入外界信息有助于链接点或完成拼图。最常见的两个外部数据链接源是社交媒体和用户群体。

在本章,我们应用分析法理论得出观点、驱动商业价值,以及改善决策和更好地理解用户,我们得出真实生活故事中有价值的结论。

相关文章
|
2天前
|
机器学习/深度学习 Python 数据处理
Python中利用长短期记忆模型LSTM进行时间序列预测分析 - 预测电力负荷数据
Python中利用长短期记忆模型LSTM进行时间序列预测分析 - 预测电力负荷数据
13 0
Python中利用长短期记忆模型LSTM进行时间序列预测分析 - 预测电力负荷数据
|
2天前
|
存储 机器学习/深度学习 数据可视化
Python面板时间序列数据预测:格兰杰因果关系检验Granger causality test药品销售实例与可视化
Python面板时间序列数据预测:格兰杰因果关系检验Granger causality test药品销售实例与可视化
39 6
|
2天前
|
机器学习/深度学习 数据采集 供应链
从数据到决策:scikit-learn在业务分析中的应用
【4月更文挑战第17天】本文探讨了scikit-learn在业务分析中的应用,包括数据预处理、分类、回归和聚类模型的构建,以及模型评估与优化。通过使用scikit-learn,企业能有效处理数据、预测趋势、客户细分并制定决策,从而提升经营效率和市场策略。随着机器学习的发展,scikit-learn在业务分析领域的潜力将持续释放,创造更多价值。
|
2天前
|
算法 数据可视化 Python
Python中LARS和Lasso回归之最小角算法Lars分析波士顿住房数据实例
Python中LARS和Lasso回归之最小角算法Lars分析波士顿住房数据实例
11 0
|
2天前
|
BI 开发者 数据格式
Python代码填充数据到word模板中
【4月更文挑战第16天】
|
3天前
|
数据可视化 算法 API
Python数据可视化-seaborn Iris鸢尾花数据
Python数据可视化-seaborn Iris鸢尾花数据
11 0
|
3天前
|
程序员 索引 Python
06-python数据容器-set(集合)入门基础操作
06-python数据容器-set(集合)入门基础操作
|
3天前
|
索引 容器
06-python数据容器-list列表定义/list的10个常用操作/列表的遍历/使用列表取出偶数
06-python数据容器-list列表定义/list的10个常用操作/列表的遍历/使用列表取出偶数
|
3天前
|
机器学习/深度学习 数据处理 计算机视觉
Python中利用长短期记忆模型LSTM进行时间序列预测分析 - 预测电力消耗数据
Python中利用长短期记忆模型LSTM进行时间序列预测分析 - 预测电力消耗数据
16 1
|
4天前
|
机器学习/深度学习 数据采集 数据挖掘
Python 的科学计算和数据分析: 解释什么是数据规整(Data Wrangling)?
【4月更文挑战第15天】数据规整是将原始数据转化为适合分析和建模的格式的关键步骤,涉及缺失值处理(删除、填充、插值)、异常值检测与处理、数据类型转换、重采样、数据合并、特征选择和特征变换等任务。这些预处理步骤确保数据质量和准确性,为后续的数据分析和机器学习模型构建奠定基础。
18 4

热门文章

最新文章