1. 阿里云>
  2. 云栖社区>
  3. 主题地图>
  4. S>
  5. sink

当前主题:sink

信道(Channel)、接收器(Sink)、接收链(Sink Chain)和信道接受提供程序(Channel Sink Provider)

为了扩展.Net Remoting,定制接收器(Sink)和信道接受提供程序(Channel Sink Provider),改变.Net Remoting的缺省行为,需要先了解.Net Remoting的相关概念及其运行机制。 下面先了解一些基本概念: 信道(

阅读全文

Flume的sink

Flume的sink   console[("format")] :直接将将数据显示在consolr上。   text(“txtfile”):将数据写到文件txtfile中。   dfs(“dfsfile”):将数据写到HDFS上的dfsfile文件中。   

阅读全文

Flink kafka source & sink 源码解析

Flink kafka source & sink 源码解析 原创 吴鹏 Flink 中文社区 4天前 摘要:本文基于 Flink 1.9.0 和 Kafka 2.3 版本,对 Flink Kafka source 和 sink 端的源码进行解析,主要内容分

阅读全文

Flink-Redis-Sink

简介 流式计算中,我们经常有一些场景是消费Kafka数据,进行处理,然后存储到其他的数据库或者缓存或者重新发送回其他的消息队列中。 本文讲述一个简单的Redis作为Sink的案例。 后续,我们会补充完善,比如落入Hbase,Kafka,Mysql等。 关于R

阅读全文

泛函编程(36)-泛函Stream IO:IO数据源-IO Source & Sink

上期我们讨论了IO处理过程:Process[I,O]。我们说Process就像电视信号盒子一样有输入端和输出端两头。Process之间可以用一个Process的输出端与另一个Process的输入端连接起来形成一串具备多项数据处理功能的完整IO过程。但合成的I

阅读全文

Flume sink=avro rpc connection error

要求 conf 文件 a1.sources=r1 a1.sinks=k1 a1.channels=c1 a1.sources.r1.type=avro a1.sources.r1.bind=master a1.sources.r1.port=9999 a1.

阅读全文

Python分析file_sink数据

从某种意义上来说,Python有些类似于MATLAB,也可以进行数据的分析。由于在Linux下,gnuradio为Python提供了良好的接口,所以可以将gnuradio与Python联合起来进行数据分析。比如在gnuradio中将数据写入到了file si

阅读全文

Apache Flink源码解析之stream-sink

上一篇我们谈论了Flink stream source,它作为流的数据入口是整个DAG(有向无环图)拓扑的起点。那么与此对应的,流的数据出口就是跟source对应的Sink。这是我们本篇解读的内容。 SinkFunction 跟SourceFunction对应

阅读全文

sink相关问答

查看更多 提问题

sink mysql

sink mysql

阅读全文

flink sink 如何做到数据准确性?

转自钉钉群21789141:flink sink 如何做到数据准确性?

阅读全文

flume-ng 使用 MySQL Sink

准备使用apache flume 1.3 来处理日志的收集工作,日志的量不是很大,每天10个G左右, 我准备仅把WARN和ERROR级别的日志抽取出来保存,供后续分析使用。 由于目前这两类数据不会很多,初步打算把他们写入MySQL DB, 使用起来方便一些

阅读全文

求助:sink to mysql应该怎么写? 继承了RichSinkFunction ,数据库连接信息放在open,还是invoke

转自钉钉群21789141:求助:sink to mysql应该怎么写? 继承了RichSinkFunction ,数据库连接信息放在open,还是invoke

阅读全文

Flink 1.6 bucketing sink HDFS文件卡在.in-progress中

我正在将Kafka数据流写入HDFS路径中的bucketing sink。卡夫卡发出了字符串数据。使用FlinkKafkaConsumer010从Kafka使用 -rw-r--r-- 3 ubuntu supergroup 4097694 20

阅读全文

Apache Flink(v1.6.0)验证Elasticsearch Sink(v6.4)

我正在使用Apache Flink v1.6.0,我正在尝试写入Elasticsearch v6.4.0,它存放在Elastic Cloud中。我在向Elastic Cloud集群进行身份验证时遇到问题。 我已经能够让Flink写入本地Elasticse

阅读全文

各位大神,问一个入门问题: 我在flatMap算子里放了一个状态,我需要在sink中拿出来看这个状态,但是发现是null,请问这个是什么原因? 用的是同一个ValueStateDescriptor

转自钉钉群21789141: 我在flatMap算子里放了一个状态,我需要在sink中拿出来看这个状态,但是发现是null,请问这个是什么原因? 用的是同一个ValueStateDescriptor,状态存储,用的是:FsStateBackend

阅读全文

我发现flink会先取到之前计算的状态,然后计算新的状态, 但是之前的结果状态同样会进sink函数插一次库, 怎样才能避免中间状态的入库啊

我发现flink会先取到之前计算的状态,然后计算新的状态, 但是之前的结果状态同样会进sink函数插一次库, 怎样才能避免中间状态的入库啊

阅读全文