作者: 晚来风急
1260人浏览
评论数：0
4年前
如今，随着云计算、移动互联网、物联网、大数据等技术的快速发展，企业逐渐认识到，数据的价值，对数据的挖掘分析能力已经成为企业的核心竞争力。对于互联网企业，最有价值的数据都蕴藏在网站的日志中。从日志中，我们可以知道网站的访问量，应用的使用量、用户的相关数据，使用偏
作者: 余二五
1408人浏览
评论数：0
4年前
前言 hadoop已经有很多资料了，所以在此只敢说整理，顺便分享下自己的想法。 我觉得，hadoop这东西要弄过搜索引擎方向最容易上手，对一个外行人，忽然介入，会遇到很多新概念和新理念。 如果你是第一次看到hadoop，那用这种说法来让你理解： hadoop
作者: 技术小胖子
1460人浏览
评论数：0
4年前
咱们一般写mapreduce是通过java和streaming来写的，身为pythoner的我， java不会，没办法就用streaming来写mapreduce日志分析。 这里要介绍一个 模块，是基于streaming搞的东西。 mrjob 可以让用 Py
作者: 长征4号
683人浏览
评论数：0
4年前
需求 场景:统计每日用户登陆总数 每分钟的原始日志内容如下: http://www.blue.com/uid=xxxxxx&ip=xxxxxx 假设只有两个字段,uid和ip,其中uid是用户的uid，是用户的唯一标识，ip是用户的登陆ip，每日的记录行数是1
作者: 科技探索者
837人浏览
评论数：0
4年前
出处：http://rfyiamcool.blog.51cto.com/1030776/1340057 流量比较大的日志要是直接写入Hadoop对Namenode负载过大，所以入库前合并，可以把各个节点的日志凑并成一个文件写入HDFS。 根据情况定期合成，写入
作者: yuanrengu
644人浏览
评论数：0
8年前
需求 场景:统计每日用户登陆总数 每分钟的原始日志内容如下: http://www.blue.com/uid=xxxxxx&ip=xxxxxx 假设只有两个字段,uid和ip,其中uid是用户的uid，是用户的唯一标识，ip是用户的登陆ip，每日的记录行数是
作者: 知与谁同
3146人浏览
评论数：0
4年前
常见问题及处理 mysql版本，必须是MYSQL5.1。 查询办法mysqladmin version 在建立hive数据库的时候，最好是:create database hive; oozie的数据库，同样：create database oozie; h
作者: 社区小助手
756人浏览
评论数：1
2年前
我正在尝试将本地目录内容流式传输到HDFS。脚本将修改此本地目录，并且每5秒添加一次内容。我的spark程序将流式传输本地目录内容并将其保存到HDFS。但是，当我开始流式传输时，没有任何事情发生。我检查了日志，但我没有得到提示。 让我解释一下这个场景。s
作者: 小旋风柴进
5914人浏览
评论数：1
5年前
报错如下： ``` AttemptID:attempt_1398735110766_0055_r_000000_0 Timed out after 600 secs Error: java.io.IOException: Communications
作者: hbase小能手
1065人浏览
评论数：1
3年前
批量get hbase频繁出现 waiting for 174 actions to finish on table类似的日志，看了下代码，客户端批量请求的时候维护一个共享变量 
作者: 社区小助手
533人浏览
评论数：2
2年前
如何使用spark将kafka主题中的writeStream数据写入hdfs？ https://yq.aliyun.com/ask/493211 当Spark在S3上读取大数据集时，在“停机时间”期间发生了什么？ https://yq.aliyun.co
作者: 永恒死神
3779人浏览
评论数：1
3年前
简介编辑 MongoDB[1] 是一个基于分布式文件存储的数据库。由C++语言编写。旨在为WEB应用提供可扩展的高性能数据存储解决方案。 mongoDB mongoDB MongoDB[2] 是一个介于关系数据库和非关系数据库之间的产品，是非关系数
