1. 云栖社区>
  2. 全部标签>
  3. #oschina#
oschina

#oschina#

已有0人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

【大数据】SparkSql连接查询中的谓词下推处理(一)

SparkSql 是架构在 Spark 计算框架之上的分布式 Sql 引擎,使用 DataFrame 和 DataSet 承载结构化和半结构化数据来实现数据复杂查询处理,提供的 DSL可以直接使用 scala 语言完成 Sql 查询,同时也使用  thriftserver 提供服务化的 Sql 查询功能。

数据存储与数据库 大数据 函数 SQL 分区表 oschina 数据查询

分库分表中间件的高可用实践

分库分表中间件的高可用实践 前言 分库分表中间件在我们一年多的锤炼下,基本解决了可用性和高性能的问题(只能说基本,肯定还有隐藏的坑要填),问题自然而然的就聚焦于高可用。本文就阐述了我们在这方面做出的一些工作。

数据存储与数据库 系统研发与运维 SQL 高可用 数据库 中间件 Server 脚本 oschina

《从机器学习到深度学习》笔记(4)划分数据集

任何机器学习算法都是基于对已有数据集或环境的信息挖掘,要求将从现有数据学习得到的模型能够适配于未来的新数据。

深度学习 算法 测试 oschina TensorFlow sklearn

Fescar&Seata分布式事务实现原理解析探秘

前言 fescar发布已有时日,分布式事务一直是业界备受关注的领域,fescar发布一个月左右便受到了近5000个star足以说明其热度。当然,在fescar出来之前,已经有比较成熟的分布式事务的解决方案开源了,比较典型的方案如LCN(https://github.com/codingapi/tx-lcn)的2pc型无侵入事务,目前lcn已发展到5.0,已支持和fescar事务模型类似的TCX型事务。

分布式 架构 模块 配置 logger string oschina

Elasticsearch写入瓶颈导致skywalking大盘空白

前言 继上次skywalking出故障《https://my.oschina.net/keking/blog/3016839》不到一个月,线上skywalking又出毛病了。又是大盘空白,trace列表最近的数据都查询不出来,但是时间稍久的数据就能查询出来,如一天前的数据有,一个小时前的数据就没有,这个只是表象,最终查明症结是ES的服务写入瓶颈,导致写入写入数据的线程阻塞导致的。

架构 线程 trace 解决方案 Elasticsearch thread oschina

kkbida - 开源消息投递中间件详细解析

kkbida - 开源消息投递中间件详细解析 项目简介 kkbida为凯京科技开源的消息投递中间件,谐音必达,旨在保证异构系统间消息通知时消息投递必达,详情见 https://gitee.com/kekingcn/kkbida 快速开始 从gitee拉取代码 git clone https://gitee.

架构 java 模块 配置 中间件 钉钉 oschina

DDD领域驱动设计在凯京科技的应用实践(概念充电篇)

凯京科技成立已三周年,其技术架构经历从单体应用到微服务架构的升级,项目经历了从Spring到SpringBoot的改造,配置实现自动化,初步实现分布式,微服务,具备一定的容错能力,完成RPC框架 Dubbo的定制化改造。

架构 模块 数据库 互联网 微服务 aggregate 领域模型 oschina

开源漏洞扫描工具(OWASP-Dependency-Check)探索

背景 随着公司逐渐发展壮大,网络信息安全变得越来越重要。由此激发了我们成立兴趣小组(凯京爆破小组)研究网络信息安全的欲望。然而信息安全的防范,还得从底层编码开始做起。这样依赖性扫描工具(OWASP-Dependency-Check)就进入了我们的视线,既符合我们当前的需求又使用方便简单,自然而然的成为了我们探索的对象。

安全 配置 Maven xml 插件 plugin html oschina jenkins

深入解析TCP协议

1. OSI七层模型   TCP(Transmission Control Protocol 传输控制协议)是一种面向连接(连接导向)的、可靠的、 基于IP的传输层协议。   TCP在IP报文的协议号是6。

服务器 主机 Server Socket oschina

windows环境下flink入门demo实例

前言碎语 为了应对凯京科技集团的飞速发展,凯京科技研发中心2019定下了数据中台的目标。数据处理我们选择了批处理+流处理结合的大数据应用软件新秀Apache Flink,前几天阿里又发出好信息称将开源Blink(Flink早期分支迁出迭代优化),所以今天来近距离感受下Flink。

云栖社区 大数据 java windows Apache 控制台 API string demo oschina flink

bin-log-distributor消费数据丢失问题解决记录

bin-log-distributor项目简介 bin-log-distributor是凯京科技开源的Mysql数据库数据变动实时监听分发中间件,详情见码云开源地址, github开源地址 背景 线上反馈有bin-log-distributor客户端偶尔有丢失数据的情况。

云栖社区 数据存储与数据库 redis Java核心技术 架构 日志 线程 数据库 中间件 thread oschina

Windows环境下Flink消费Kafka实现热词统计

前言碎语 昨天博主写了《windows环境下flink入门demo实例》实现了官方提供的最简单的单词计数功能,今天升级下,将数据源从socket流换成生产级的消息队列kafka来完成一样的单词计数功能。

云栖社区 java windows Apache 配置 runtime scala string Akka test zookeeper oschina

Win10下安装Mysql5.7

去官方下载对应的mysql版本 https://dev.mysql.com/downloads/installer/ 解压完,目录如下 在根目录下创建my.ini文件 [Client] port = 3306 [mysqld] #设置3306端口 port = 3306 # 设置mysql的安装目录 basedir=C:\Users\lidao\Desktop\Utils\mysql-5.

数据存储与数据库 mysql 根目录 shell 配置 字符集 存储 oschina

XML

XML:         介绍:                标记语言                可扩展的标记语言                配置信息                键值对配置文件:一键一值                代码中也可以写配置信息,代码是需要编译的,编译的代...

编程语言 配置 xml oschina utf-8

Maven项目使用开源中国镜像

从maven中央库下载jar非常缓慢甚至有时候会下载不下来。可以采用中国的maven镜像。目前主要是 开源中国的镜像。 1.

eclipse 配置 镜像 Maven url oschina

Kubernetes加入新节点,经验总结

Kubernetes节点加入,经验总结 kubeadm安装Kubernetes,实践记录。 参考:https://my.oschina.net/u/2306127/blog/1628082 Kubernetes主控节点建立后(方法参见上面的链接),就可以随时添加更多的工作节点进去构建更大的集群(minikube设计为单机开发使用,不能添加工作节点),容器实例可以在所有符合条件的node上调度运行,这是Kubernetes最为强大的功能。

docker 镜像 集群 容器 node Registry 插件 Blog GPU oschina k8s

148
GO