《R语言数据分析》——2.5 使用R包与数据源API交互

简介:

本节书摘来自华章出版社《R语言数据分析》一书中的第2章,第2.5节,作者盖尔盖伊·道罗齐(Gergely Daróczi),潘怡 译,更多章节内容可以访问云栖社区“华章计算机”公众号查看。

2.5 使用R包与数据源API交互

尽管我们能够读取HTML表格、CSV文件、JSON和XML数据,甚至某些HTML的原始文档,然后实现数据的存储,但花太多时间用来开发我们自己的工具意义并不大,除非我们再没有其他选择。因此,通常我们应该首先快速了解清楚Web Technologies以及Services CRAN Task View的内容,同时留意R-bloggers,StackOverf?low以及GitHub这些网站,从上面获得任何可能的解决方案,而不是去定制自己的XPath工具和JSON列表。

2.5.1 Socrata的开源数据API

我们现在来展示使用Socrata公司为消费者金融保护局(the Consumer Financial Protection Bureau)提供的开放数据应用程序接口(the Open DataApplication Program Interface),重新实现上述样例:

QQ_20170525114608

事实上,RSocrata包和我们前面的方法一样使用了JSON源(或CSV文件)。请注意警告信息,其显示RSocrata包依赖于另外一个R中的JSON编译包,而不是我们之前使用的那个包,因此某些函数的名称是有冲突的。这时候,最好就是在自动导入RJSONIO包之前先执行detach('package:rjson')操作。

有了RJSONIO包,从指定的URL装载顾客反馈意见数据库就变成了一件非常容易的事情:

QQ_20170525114612

我们可以获取数值型数据,所有的日期也被自动处理成POSIXlt!

类似的,Web Technologies和Services CRAN Task View包含了数百种和自然科学类Web站点进行交互的R包,例如,生态学、遗传学、化学、天气学、金融学、经济学以及市场学等。我们还可以找到用于处理文本数据、文献资源、Web分析数据、新闻以及地图和社会媒体数据类的R包。由于篇幅有限,我们将仅关注那些频繁使用的包。

2.5.2 金融API

Yahoo!财经和Google财经是企业界人士常用的两种开放式数据源标准。使用quantmod包以及前述一些服务提供商,可以非常容易地实现获取诸如股票、金属或者是外币交易价格这样的信息。例如,让我们来看一下以'A'为标记的AgilentTechnologies公司最近的股票价格:

QQ_20170525114617

默认情况下,getSymbols函数会将获得的结果放在指定的parent.frame(通常为全局变量)环境内。如果指定NULL为期望中的环境,则处理结果会被当做一个xts的时间序列对象对待,如样例所示。
而外币交易的比率也可以很容易地抓取出来:

QQ_20170525114625
QQ_20170525114629

getSymbols函数返回的字符串为.GlobalEnv内存放数据的R变量。如果要查看所有可用的数据源,可以使用相关的S3方法查询:

QQ_20170525114635

除了一些离线数据源,我们可以从Google、Yahoo!和OANDA上获得最近的金融信息。如果要查看所有标记的完整列表,可以使用已经装载好的TTR包:

QQ_20170525114638

可以在本书第12章找到更多处理和分析类似数据集的方法。

2.5.3 使用Quandl获取时序数据

Quandl提供了一个支持访问百万级结构相似时序数据的标准模板,该模板实现了一个定制的API,适合大约500个数据源。R的Quandl包对来自全世界各类企业的这些开放数据都能提供简便的访问方式。下面,我们将以U.S.证券交易会发布的Agilent Technologies公司付出的红利数据为例,探讨Quandl包对时序数据的处理过程。首先,我们需要从公司主页http://www.quandl.com上以“Agilent Technologies”为关键词搜索函数Quandl的代码:

QQ_20170525114643

如果没有合法的授权令牌,那么在使用这类API时会存在很多限制,可以通过访问Quandl主页来解决这一问题。当获得授权令牌后,可以用来设置Quandl.auth函数的参数。

Quandl包的功能包括:

以时间为筛选条件过滤数据

在服务器端执行一些对数据的转换操作,例如累积求和以及一阶微分等

对数据排序

确定返回对象的期望类别——例如ts、zoo和xts

下载有关数据源的一些元数据信息

元数据将存放在返回的R对象的attributes属性中,例如,希望统计数据集值的频数信息,可以调用:

QQ_20170525114648

2.5.4 Google文档和统计数据

读者们如果对从Google Docs上下载自己或特定数据更有兴趣,使用RGoogleDocs包就非常合适。该包可以从http://www.omegahat.org/ 的主页上下载,它提供了对谷歌电子表的读写操作授权。

不幸的是,该包的功能有些过时,也使用了一些遭弃用的API函数,因此我们最好找到一些新一点的替换函数,例如googlesheets包,它也支持对谷歌电子表格(不支持其他格式文档)的管理。

我们还可以从R中找到类似能够支持与Google Analytics和Google Adwords进行交互的包,来处理一些分析页面访问量或广告投入效率的问题。

2.5.5 在线搜索的发展趋势

另外,我们也可以调用API下载公共数据。Google提供了对包括World Bank、IMF,以及美国人口普查局等部门的公共数据进行访问的接口,访问地址为http://www.google.com/publicdata/directory。而有关Google自己内部有关搜索趋势的数据可以通过http://google.com/trends访问。

Google内部的数据调用GTrendsR包访问非常简单,不过在CRAN上还不提供下载,不过我们至少也可以以此为例来尝试一下如果通过其他的数据源来安装R的包。GTrendR源码库可以在BitBucket上获取,用devtools包来安装这些源码库非常方便。

为确保读者安装的GTrendR包的版本和我们后面样例中要用的版本一致,你可以指定install_bitbucket函数(或install_github函数)中参数ref的branch、commit以及其他属性的值。请参考本书附录中相关章节的内容。

QQ_20170525114651

可见从BitBucket或GitHub安装R包和确定好源码库的名称以及作者姓名,再使用devtools完成下载和编译一样简单。

Windows系统的用户应该在编译这些开发包之前先从http://cran.r-project.org/bin/windows/Rtools/处下载并按照Rtools包。我们同样激活了quiet模式,以阻止日志汇编和其他无聊的细节。

安装好以后,可以以常规方式载入包:

QQ_20170525114654

首先要通过一个合法的Google用户名和口令完成授权,然后再开始对Google Trends数据库进行查询操作。现在搜索命令将是“how to install R”:

请确保所使用的用户名和口令都是正确的,否则下面的查询将失败。

QQ_20170525114700
QQ_20170525114705

返回的数据集包括了以星期为周期的对R安装操作方法的查询频度。通过数据可知,7月中旬访问量最高,而接下来直到8月初的访问量仅为之前的75%。由此可见,Google并不发布对原始查询数据的统计信息,更多的是一种对不同搜索主题及时间间隔活动的比较研究。

2.5.6 天气历史数据

在R中还为地球学领域的用户提供了数据访问的包。例如,RNCEP包能够从国家环境预测中心(National Centers for Environmental Prediction)下载100多年的天气历史数据,这些数据基本是6小时采集一次。weatherData包提供对http://wunderground.com 的直接访问。在下面的样例中,我们将下载过去七天London的日均温度数据:

QQ_20170525114712

请注意其中不重要的结果都被省略了,获取数据的过程非常直接:通过R的包获取指定URL的数据,这些数据以CSV文件格式存放,然后对数据进行分析处理。如果将opt_detailed设置为TRUE,将返回每天以30分钟为间隔的温度变化。

2.5.7 其他在线数据源

本章篇幅有限,因此不可能讨论完所有类型的在线数据源的处理方法,请参考Web Technologies、Services CRAN Task View、R-bloggers、StackOverf?low以及本书附录部分来了解这些实现了的R包,在读者开始开发自己的数据抓取包时也可以多参考helper函数。

相关文章
|
1月前
|
前端开发 小程序 API
【微信小程序】-- 使用 npm 包 - API Promise化(四十二)
【微信小程序】-- 使用 npm 包 - API Promise化(四十二)
|
3月前
|
JSON 数据挖掘 API
结合数据分析工具,深入挖掘淘宝API接口的商业价值
随着电子商务的蓬勃发展,淘宝作为国内领先的电商平台,不仅为消费者提供了便捷的购物环境,同时也为开发者和数据分析师提供了丰富的数据资源。通过有效地调用淘宝API接口获取商品详情,再结合数据分析工具进行深入的数据挖掘,可以为商家、市场分析师及研究人员等带来巨大的商业价值
|
2月前
|
数据采集 数据挖掘 API
主流电商平台数据采集API接口|【Python爬虫+数据分析】采集电商平台数据信息采集
随着电商平台的兴起,越来越多的人开始在网上购物。而对于电商平台来说,商品信息、价格、评论等数据是非常重要的。因此,抓取电商平台的商品信息、价格、评论等数据成为了一项非常有价值的工作。本文将介绍如何使用Python编写爬虫程序,抓取电商平台的商品信息、价格、评论等数据。 当然,如果是电商企业,跨境电商企业,ERP系统搭建,我们经常需要采集的平台多,数据量大,要求数据稳定供应,有并发需求,那就需要通过接入电商API数据采集接口,封装好的数据采集接口更方便稳定高效数据采集。
|
2月前
|
算法 数据挖掘
R语言——AVOCADO“(异常植被变化检测)算法(1990-2015数据分析)监测森林干扰和再生(含GEE影像下载代码)
R语言——AVOCADO“(异常植被变化检测)算法(1990-2015数据分析)监测森林干扰和再生(含GEE影像下载代码)
41 1
|
3月前
|
数据挖掘 API
京东商品详情API:数据分析和挖掘以优化销售策略
商品关联分析:通过分析商品之间的关联规则,商家可以发现哪些商品经常一起被购买,从而制定捆绑销售或搭配销售策略,提高客单价和用户满意度。
|
26天前
|
Java 数据库连接 API
Java 学习路线:基础知识、数据类型、条件语句、函数、循环、异常处理、数据结构、面向对象编程、包、文件和 API
Java 是一种广泛使用的、面向对象的编程语言,始于1995年,以其跨平台性、安全性和可靠性著称,应用于从移动设备到数据中心的各种场景。基础概念包括变量(如局部、实例和静态变量)、数据类型(原始和非原始)、条件语句(if、else、switch等)、函数、循环、异常处理、数据结构(如数组、链表)和面向对象编程(类、接口、继承等)。深入学习还包括包、内存管理、集合框架、序列化、网络套接字、泛型、流、JVM、垃圾回收和线程。构建工具如Gradle、Maven和Ant简化了开发流程,Web框架如Spring和Spring Boot支持Web应用开发。ORM工具如JPA、Hibernate处理对象与数
90 3
|
1月前
|
机器学习/深度学习 数据可视化 算法
从零到精通:学习这些R语言必学包成为数据分析高手!
从零到精通:学习这些R语言必学包成为数据分析高手!
35 0
|
1月前
|
编解码 API Android开发
深入了解设备交互 API 如何改变我们的生活
深入了解设备交互 API 如何改变我们的生活
29 3
|
1月前
|
API
uni-app 25后端api开发和前后端交互(51-60)
uni-app 25后端api开发和前后端交互(51-60)
28 2
uni-app 25后端api开发和前后端交互(51-60)
|
1月前
|
中间件 API 数据库
uni-app 25后端api开发和前后端交互(1-50)
uni-app 25后端api开发和前后端交互(1-50)
100 0
uni-app 25后端api开发和前后端交互(1-50)