一文让你了解大数据时代,你的真实处境

简介: 人工智能和大数据成为我们每个人对现代科技的新标签,数据分析被应用到了方方面面,今天小安带大家一起了解一下数据分析以及在这个时代我们的真实处境。

人工智能和大数据成为我们每个人对现代科技的新标签,数据分析被应用到了方方面面,今天小安带大家一起了解一下数据分析以及在这个时代我们的真实处境(下方高能,请做好准备)

知道你们不喜欢听理论,所以……小安还是要先普及一下理论知识,
因为知识改变命运。

何为数据分析 ?
数据分析是指用适当的统计分析方法对收集来的大量数据进行分析,提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。这一过程也是质量管理体系的支持过程。在实用中,数据分析可帮助人们作出判断,以便采取适当行动。(简单理解就是:提取相关数据,运用相应算法,得出实用结论)

下面一起来回顾一个小故事
数据分析早期经典案例

啤酒与尿布
"啤酒与尿布"的故事产生于20世纪90年代的美国沃尔玛超市中,沃尔玛的超市管理人员分析销售数据时发现了一个令人难于理解的现象:

在某些特定的情况下,"啤酒"与"尿布"两件看上去毫无关系的商品会经常出现在同一个购物篮中,这种独特的销售现象引起了管理人员的注意,经过后续调查发现,这种现象出现在年轻的父亲身上。

在美国有婴儿的家庭中,一般是母亲在家中照看婴儿,年轻的父亲前去超市购买尿布。父亲在购买尿布的同时,往往会顺便为自己购买啤酒,这样就会出现啤酒与尿布这两件看上去不相干的商品经常会出现在同一个购物篮的现象。

如果这个年轻的父亲在卖场只能买到两件商品之一,则他很有可能会放弃购物而到另一家商店, 直到可以一次同时买到啤酒与尿布为止。沃尔玛发现了这一独特的现象,开始在卖场尝试将啤酒与尿布摆放在相同的区域,让年轻的父亲可以同时找到这两件商品,并很快地完成购物;而沃尔玛超市也可以让这些客户一次购买两件商品、而不是一件,从而获得了很好的商品销售收入,这就是"啤酒与尿布" 故事的由来。

当然"啤酒与尿布"的故事必须具有技术方面的支持。1993年美国学者Agrawal提出通过分析购物篮中的商品集合,从而找出商品之间关联关系的关联算法,并根据商品之间的关系,找出客户的购买行为。艾格拉沃从数学及计算机算法角度提出了商品关联关系的计算方法--Aprior算法。沃尔玛从上个世纪 90 年代尝试将 Aprior 算法引入到 POS机数据分析中,并获得了成功,于是产生了"啤酒与尿布"的故事。

案例分析:
这个最早期的案例,就是今天大数据分析的雏形。今天的数据分析能力已经显著提高,算法更是层出不穷,商家通过数据分析了解消费群体习惯,从而获利,而我们同买尿布的父亲一样,收获到了数据分析为我们带来的便捷,节省了很多选择的时间,与此同时,也承受着数据监控所带来的困扰。

早期的数据分析还是单纯而友好的嘛!今天的数据分析又是神马情况?无止境的接到各类商家电话是每个人都亲身经历过的事情,运气好接到各种销售电话:房子、车子、保险、广告、贷款……运气差的就会收到各式各样的诈骗电话。你会突然发现这个世界上了解你的人突然多了起来?

大数据里的我们拥有异常真实的群体画像,因为我们在面对手机的时候非常诚实,永远对它说真话。

我们知道自己在分享数据,但是大部分人并不知道,自己正在分享些什么,更不知道,这种分享将会意味着什么。

本来我们的规划是:
世界上知道这些秘密的只有你,和机器另一端的数据科学家。在机器语言里,我们不只是一个名字、一个地址、一串设备识别符。它每秒钟监测超过400个变量,记录每一个行为轨迹。

实际上:
我们的数据包在黑市被低价叫卖,那些我们永远不愿意公开的秘密,在一个小小的压缩包中,等待着新买家的光临。

据《财经》此前的报道,国内个人信息泄露数达55.3亿条,平均每个人有四条相关个人信息泄露,这些信息最终在黑市反复倒手,直至被榨干价值。其中,80%的数据泄露来自企业内鬼,黑客仅占20%。在一些私下倒卖个人身份信息的黑市,20块钱买一个人的征信报告,几百块钱就能买高净值人群打包数据。

一部分行业内人员认为:互联网公司收集的都是「浅层信息」,这没关系。目前市场上大部分倒卖的信息被称之为“浅层的信息”,比如仅有电话、姓名、身份证、家庭住址等等,没错,这些我们看来已经很全面的信息在某些行业内只属于浅层信息范畴。

那深层信息又有多恐怖呢?我们一起来了解一下吧!

首先我们要了解:截止2018年第一季度,超过10亿人每月使用微信及WeChat,6.17亿人在淘宝购物,全国搜索引擎用户达6.4亿,他们时刻创造新的海量数据,也在被勾画着异常精准的群体画像,机器在一步步接近一张清晰的人性图景。数据是这个时代最特别的商品,它的产生几乎毫无成本,却造就了无数科技独角兽、日渐强大的上市公司,以及数以亿计的产业利益。

当然,像微信、淘宝这类的大型企业所保护的数据库,我们应该给予足够的信任,至少在数据监管上,相对于一些不知名的APP,我们更愿意相信大品牌。

那么,我们日常使用的诸多APP,都是可以信赖的吗?比如:你想要拥有更优惠的价格去购买一件商品,通常会下载一个优惠券商城APP,这种APP品类丰富,数不胜数。那么从APP下载到手机那一刻起,你的轨迹就逐步被另一端的人们掌握了。

仅仅是安装过程中所抓取的硬件设备信息,APP已经对你有了一个大概印象——如果一台手机一个月内有10次连接同一个星巴克的WiFi,20次连接同一个定位在写字楼的公共区域WiFi,30次连接一个家庭WiFi,再算上这些WiFi的地理位置,以及WiFi名里的关键词,那么,一条几近清晰的生活——工作的路线轨迹,轻松出现。

你每天的路线就这样被你完全不知道的企业或者个人掌握了!

你的账号、密码也作为数据存留在不计其数的数据库中。相信很多人跟小安一样,因为记不住太多复杂的密码,账户密码数量不超过3个!一旦某一网站数据泄露或者被不法分子利用,从而去撞别的数据库,那么就会危及个人财产安全。

日常软件中的定位功能也是大家所忽略的,很多软件会申请获取你的定位,这一功能之前有文章做过分析,在此就不赘述了。详情点击文章标题了解更多:《你在微信不经意点开的链接 可能成为别人追踪你的标靶》
也许你会为目前的处境感到担忧,但是又不得不承认,我们享受着数据分析为我们带来的便捷。它能够了解你的喜好,解决很多生活中的问题,让每个人都有了一个智能小助理。大数据时代最理想的状态就是:在隐私安全得到充分保障的前提下,享有一系列便捷的服务。

为了达到理想状态,保护数据和个人信息安全,许多国家和地区相继出台相关法律、规定予以应对。科技是一把双刃剑,对于数据安全的保护,我们的确还有很长的一段路要走。但是在数据安全方面,除了出台相应的法律、规定外,还需要企业的自律意识、责任意识,以及每位用户的隐私安全意识共同建立,才能形成安全可靠的数据体系,达到大数据时代的理想状态!

原文发布时间为:2018-06-30
本文作者:Diana
本文来自云栖社区合作伙伴“ 安恒信息”,了解相关信息可以关注“ 安恒信息”。

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
机器学习/深度学习 人工智能 监控
向硅基文明致敬的认知计算? 从一个真实的Watson到认知商业
向硅基文明致敬的认知计算? 从一个真实的Watson到认知商业
向硅基文明致敬的认知计算? 从一个真实的Watson到认知商业
|
人工智能 机器人 大数据
今后军队将完全人工智能化?停止幻想!大趋势和大方向不容改变
从如今国际上的局势来看,未来的军事武器的发展很大程度上会向着外太空的方向发展,但是航天飞机已经没有了,自从"哥伦比亚"号失事之后我们人类对于航天飞机的梦想再次破灭。而除了外太空之外我们的军事武器的发展会不会向着完全人工智能化的方向发展呢?
2408 0
今后军队将完全人工智能化?停止幻想!大趋势和大方向不容改变
|
人工智能 小程序
观点 | 阿里云预言:疫情下的房产行业,三大变化将在未来发生
疫情的爆发将会加速房地产行业的求新求变,数字化、智能化与房地产业务深度结合将是未来的主旋律。
1468 0
|
人工智能 机器人 vr&ar
面对人工智能,我们应有的态度
面对人工智能,我们应有的态度
|
机器学习/深度学习 人工智能 自然语言处理
|
人工智能 算法 计算机视觉
|
新零售 大数据 数据挖掘