1. 阿里云>
  2. 云栖社区>
  3. 主题地图>
  4. A>
  5. array_work

当前主题:array_work

Spark Streaming应该如何消费Kafka?

前言 在项目中,需要对每天千万级的游戏评论信息进行词频统计,在生产者一端,我们将数据按照每天的拉取时间存入了Kafka当中,而在消费者一端,我们利用了spark streaming从kafka中不断拉取数据进行词频统计。本文首先对spark streamin

阅读全文

从分布式一致性算法到区块链共识机制

引言 分布式一致性是一个很“古典”的话题,即在分布式系统中,如何保证系统内的各个节点之间数据的一致性或能够就某个提案达成一致。这个问题想必对于很多技术同学而言并不陌生,几乎在所有的分布式系统中都会遇到,比如hdfs、mq、zookeeper、kafka、re

阅读全文

MaskRCNN-Benchmark(Pytorch版本)训练自己的数据以及避坑指南

一、安装 地址:MaskRCNN-Benchmark(Pytorch版本) 首先要阅读官网说明的环境要求,**千万不要一股脑直接安装,不然后面程序很有可能会报错!!!** PyTorch 1.0 from a nightly release. It will

阅读全文

PostgreSQL 11 参数模板

标签 PostgreSQL , 参数 , 模板 , postgresql.conf , pg_hba.conf , postgresql.auto.conf 背景 系统参数模板 《PostgreSQL on Linux 最佳部署手册 - 珍藏级》 《Postg

阅读全文

Java集合 - List介绍及源码解析

Java集合 - List介绍及源码解析 (源码版本为 JDK 8) 集合类在java.util包中,类型大体可以分为3种:Set、List、Map。 JAVA 集合关系(简图)# 集合.jpg (图片来源网络) List集合和Set集合都是继承Collec

阅读全文

PostgreSQL 11 1万亿 tpcb 性能测试 on 阿里云ECS + ESSD + zfs/lvm2条带 + block_size=32K

标签 PostgreSQL , pgbench , tpcb , tpcc , tpch , lvm2 , zfs , 条带 背景 最近的几个PostgreSQL OLTP与OLAP的测试: 《PostgreSQL 11 tpcc 测试(103万tpmC on

阅读全文

PostgreSQL 快速给指定表每个字段创建索引 - 1

标签 PostgreSQL , 索引 , 所有字段 , 并行创建索引 , max_parallel_maintenance_workers 背景 如何快速给表的所有字段,每个字段都加上索引。 《PostgreSQL 设计优化case - 大宽表任意字段组合查询

阅读全文

PostgreSQL dblink异步调用实践,跑并行多任务 - 例如开N个并行后台任务创建索引, 开N个后台任务跑若干SQL

标签 PostgreSQL , 后台任务 , DBLINK 异步调用 背景 使用DBLINK异步接口,可以非常方便的实现跑后台任务,如果要让数据库执行若干条SQL,开N个并行执行,同样可以使用DBLINK封装成API进行调用。 例如,结合我前面的一些文字,可以

阅读全文

array_work相关问答

提问题

通过`in-code variable inspection`调试scala中的过滤器操作[重复]

> def main(args:Array[String]){ > Logger.getLogger("org").setLevel(Level.ERROR) > val sc = new SparkContext("local[*]",

阅读全文