弘锐66 + 关注
阿里云资深数据仓库工程师

弘锐66 参与了问答:

窗口函数中dense_rank() 与rank()函数的区别?

1、dense_rank()该函数用于计算连续排名。col2相同的行数据获得的排名相同。2、 rank() 该函数用于计算排名。col2相同的行数据获得排名顺序下降。

“可参考官网:https://help.aliyun.com/document_detail/34994.html?spm=5176.11065259.1996646101.searchclickres...查看全部>

弘锐66 参与了问答:

odps 项目空间是admin角色,但是在客户端无法给用户授权

子账号,是项目空间的管理员,但是无法授权

“需要是项目owner才行,这个admin角色不是项目的管理员,而是dataworks里面给定义的一个角色”

弘锐66 发表了文章:

(ElasticsSearch学习)歌词检索Demo的实现:二. 搭建spring boot+spring data+jest+elasticsearch环境,实现歌词的全文检索

发布时间:2018-03-14 12:20:15 浏览:6528 回帖 :1

一个ElasticSearchDemo,讲解如何使用Jsoup爬取歌词数据写入阿里云Elasticsearch,并搭建Web框架实现歌词的全文检索。 本文主要讲解如何使用Spring Boot快速搭...

spring web aliyun Elasticsearch MVC data Boot jest

弘锐66 发表了文章:

(ElasticsSearch学习)歌词检索Demo的实现:一. 爬取歌词信息,写入ES

发布时间:2018-03-14 11:01:46 浏览:1889 回帖 :0

一个ElasticSearchDemo,讲解如何使用Jsoup爬取歌词数据写入阿里云Elasticsearch,并搭建Web框架实现歌词的全文检索。

大数据 Elasticsearch 爬虫 jsoup

弘锐66 参与了问答:

spark源码阅读环境搭建问题

各地大侠,现有个问题我在spark目录下运行sbt命令,下载完依赖包后,再运行eclipse,构建工程。然后将spark源友作为 maven工程导入到eclipse里面。但是,sbt下载的依赖包都在....

“下载eclipse sbt插件,在eclipse中完成sbt 编译后,即自动下载依赖到ivy了 或者就不用sbt编译,改用mavent直接在eclipse中编译,也会自动获取依赖”

弘锐66 参与了问答:

求助,求集成datahub相关依赖包

做一个datahub相关项目,找了大半天依赖包也没有找全,求集成好的依赖包,非常感谢~

“如果是指的大数据datahub产品,请参考改maven配置,获取依赖 <groupId>com.aliyun.datahub</groupId> <artifactId&...查看全部>

弘锐66 参与了问答:

QuickBI追加数据源后,刷新数据集报错。

com.alipay.dwsap.common.exception.AlisisRuntimeException: 7 AE0570000047:clivia query data error!${0...

“是何种数据源?应该是odps数据源吧,那么检查下是sql还是表,如果是sql是否编写有错误?”

弘锐66 参与了问答:

Spark如何统计多个MySQL的数据?

1、日志数据分布在多个MySQL上,每台物理主机承载一个或多个MySQL。2、每个MySQL的username、password不一样。3、每个MySQL承载日志数据的数据库名称也不一样。4、每个My...

“从数据仓库的角度来看,建议将mysql数据全部同步到hdfs中后,统计做计算。否则单就mysql分布在不同机器来说,计算时的网络io成本太大。”

弘锐66 发表了文章:

Spark学习[扩展阅读] 详解 Spark RDD

发布时间:2018-02-13 11:34:07 浏览:2671 回帖 :0

为了能解决程序员能在大规模的集群中以一种容错的方式进行内存计算这个问题, 我们提出了 RDDs 的概念. 当前的很多框架对迭代式算法场景与交互性数据挖掘场景的处理性能非常差, 这个是 RDDs 的提出...

大数据 函数 集群 spark 编程 Mapreduce 存储 数据存储 RDD

弘锐66 发表了文章:

Spark学习[一] Spark IntelliJ IDEA 开发环境搭建(Scala项目)- Hello World

发布时间:2018-02-12 21:51:05 浏览:11585 回帖 :1

Spark IntelliJ IDEA 开发环境搭建

大数据 配置 Image spark scala 开发环境 file type IDEA

弘锐66 发表了文章:

大数据上云那些事儿:(一)上云工具之爬虫(Scrapy)数据

发布时间:2017-06-28 15:01:20 浏览:6111 回帖 :0

在如今互联网环境下,网络上的各种业务数据,如新闻,社交网站,交易类数据等各种各样的数据越来越多被应用到企业的数据运营中,这些数据一般都数据量巨大,是最适合用MaxCompute来进行分析和加工的一类...

python 大数据 javascript HTTPS odps logger 数加 string 分区表 爬虫 scrapy MaxCompute

弘锐66 发表了文章:

大数据上云那些事儿:(一)上云工具的选择

发布时间:2017-06-22 11:47:30 浏览:2223 回帖 :0

阿里云•数加上如果要实现大数据上云,可选的工具有以下几种(如下图所示),主要分为批量加载工具和实时采集工具两大类。工具这么多,那么我应该选择哪一个呢? 首先第一就是确定您的业务场景对实时性的要求。 ...

大数据 阿里云 数加 logstash 同步 数据同步 MaxCompute DI datahub datax StreamCompute 数据上云 上云工具

弘锐66 评论了文章:

大数据异构环境数据同步工具DataX 与Sqoop 之比较

发布时间:2016-05-05 11:28:52 浏览:7000 回帖 :1

“我在3台ecs配置的data x可以达到100M/S,不太清楚文中提到的data x是否哪里配置不太正确?”

弘锐66 评论了文章:

使用 odps-jdbc 接入 ODPS,不再从零开始

发布时间:2016-02-17 15:03:56 浏览:13710 回帖 :6

还在为传统 DBMS 的性能问题而烦恼?想借助 ODPS 的分布计算能力?但是你又不想学习官方的 SDK ?如果你恰好在老项目中用了 JDBC 访问 Oracle 或 MySQL?那么你可能对这篇文章...

分布式系统与计算 java odps JDBC

“一些SET参数可以直接通过JDBC调用吗? 例如set odps.sql.mapjoin.memory.max=512 等?”
更多>
jark
jark
文章:7丨 粉丝:128丨 话题:0
传学
传学
文章:27丨 粉丝:42930丨 话题:0
海清
海清
文章:23丨 粉丝:42832丨 话题:0
祎休
祎休
文章:41丨 粉丝:42930丨 话题:0
傲海
傲海
文章:297丨 粉丝:45629丨 话题:2
德哥
德哥
文章:2044丨 粉丝:13622丨 话题:14
更多>
游客b34stizahmlxi
游客b34stizahmlxi
文章:0丨 粉丝:0丨 话题:0
游客asnoqnppjjh4s
游客asnoqnppjjh4s
文章:0丨 粉丝:0丨 话题:0
游客66gzcf5zcvrbc
游客66gzcf5zcvrbc
文章:0丨 粉丝:0丨 话题:0
游客kohl7ia62xufm
游客kohl7ia62xufm
文章:0丨 粉丝:0丨 话题:0
游客tq23p6ubx64we
游客tq23p6ubx64we
文章:0丨 粉丝:0丨 话题:0
游客4zx4kdm4qr726
游客4zx4kdm4qr726
文章:0丨 粉丝:0丨 话题:0