1. 云栖社区>
  2. 全部标签>
  3. #schema#
schema

#schema#

已有0人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

Spark结构化流媒体从Cassandra中丰富

我使用结构化流式传输来自Kafka的数据 val df = spark .readStream .format("kafka") .option("kafka.bootstrap.servers", "localhost:9092") .…

spark string Cassandra url test schema uuid Group Commit bootstrap

结构化流式传输到rdd不起作用

试图对stractured流做一些操作,并且需要使用.rdd函数,但得到"""AnalysisException: Queries with streaming sources must be executed with writeStr…

函数 spark string url schema

可以在飞行中构建spark代码并执行吗?

我正在尝试使用数据库CSV READER创建一个通用函数来读取csv文件。但是该选项不是强制性的,它可以根据我的输入json配置文件而有所不同。 例1: "ReaderOption":{ "delimite…

函数 Json 数据库 配置 spark DataFrame string schema read csv

使用错误架构的Apache Spark上的读取流重试1830次

在Spark结构化流式传输中,当来自S3的传入记录与我强制执行的模式不匹配时.schema(..),如果记录的大小很大(我的是397KB),那么该记录将被重试1830次,多次测试。有没有人注意到这种奇怪的行为?

架构 Apache 测试 spark schema

Spark SQL - createDataFrame错误的struct schema

尝试使用Spark SQL创建DataFrame时,通过传递一个行列表,如下所示: some_data = [{'some-column': [{'timestamp': 1353534535353, 'strVal': 'some-st…

python 架构 SQL spark DataFrame string schema timestamp

使用AvroParquetWriter将flink接收到parquet文件不会将数据写入文件

我正在尝试使用AvroParquetWriter将parquet文件写为接收器。文件已创建但长度为0(未写入数据)。无法清楚问题在哪里? import io.eels.component.parquet.ParquetWriterConf…

hadoop Apache path scala stream PUT schema source flink

Spark Structured Streaming error读取字段'topic_metadata'时出错

我正在运行spark 2.4.0和Kafka 0.10.2 var streamingInputDF = spark.readStream .format("kafka") .option("kafka.bootstrap.server…

java SQL Apache 控制台 spark scala exception schema bootstrap

在Scala Spark中以编程方式将所有特定数据类型列转换为其他数据类型

我正在以编程方式尝试转换列的数据类型并遇到一些编码问题。 我修改了这里使用的代码。 数据>>任何数字都被读作字符串。 代码>> import org.apache.spark.sqlraw_data.schema.…

SQL Apache spark scala DataFrame string 编程 schema type 数据类型

DataStream[POJO]转table如何指定.rowtime字段?

click_info的类型是DataStream类型的;Message我自己定义的POJO;然后由DataStream转换为table的时候指定字段的代码如下:转换为table之后在table上执行window算子操作提交到集群之后一直报这…

实时系统 集群 Image schema flink

flink表api异常

"我正在使用flink表api,使用kafka作为输入源,使用json作为表模式。提交程序时出现此错误:`程序完成以下异常: org.apache.flink.client.program.ProgramInvocationExcepti…

java Json Apache scala API schema type SUN flink

使用Java API访问phoenix报错?求大佬解答

代码:import java.sql.Connection;import java.sql.DriverManager;import java.sql.PreparedStatement;import java.sql.ResultSet…

java hbase hadoop SQL Apache API JDBC schema

flink 注册kafka得csv格式

用flink注册kafka得消息源,format选择csv报错,选择avro可以。是不是kafka连接器不支持csv格式。报错如下:Exception in thread "main" org.apache.flink.table.api…

Apache string exception schema thread bootstrap csv flink

大家好, 我有PG上的两个问题想请大家帮我设计一下。

1. 我们的PG数据在不同的城市有几百个未来会上千个。现在有个需求就是有三十几个人需要有数据库的访问权限,这三十几个人分成只读用户和全权用户。我的理解 建立这三十几个用户,就要建立三十几个对应的schema,对吧?虽然他们都不需要。有只建…

PostgreSQL SQL 数据库 schema

postgresql只读账号权限设置问题

请教一下各位大佬,如何设置使只读账号在指定连接库中仅能看到授权的SCHEMA,其他用户所有的SCHEMA不可连接、不可查看其内的表结构

PostgreSQL schema

greenplum 用户权限配置问题

在gp中,我创建了3个数据,分别为:gp_a、gp_b、gp_c、三个数据库。为三个数据创建了三个用户。分别为user_a、user_b、user_c。现在是user_a可以看到gp_b和gp_c数据库,能否设置user_a连gp_b和gp…

Greenplum 数据库 配置 schema greenplumn

启动EDAS+HSF项目时,报了一个找不到HSFSpringProviderBean这个类

以下是报错信息,实在搞不懂到底是哪块配错了。。。 严重: Context initialization failedorg.springframework.beans.factory.parsing.BeanDefinitionParsi…

云栖社区 分布式 开发框架与中间件 java Apache spring exception xml EDAS class schema file

请问odps的mapreduce支持mapper的输出为自定义类型吗?

mapper输出不是要设置Schema吗,那么支持自定义implements Writable的类型吗?

odps schema Mapreduce MaxCompute mapreducer

MaxCompute 遇到一个这样的问题:

MaxCompute 遇到一个这样的问题: select * from ( select A,B,C from table1 union all select A,B, null C from tab…

odps void schema type 大数据分析 MaxCompute

3
GO