1. 云栖社区>
  2. 全部标签>
  3. #scala#
scala

#scala#

已有1人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

安装后无法执行pyspark

我已手动复制spark-2.4.0-bin-hadoop2.7.tgz并提取。然后我进入.bash_profile如下: export SPARK_HOME = / Users / suman / Pyspark / spark-2.4.…

python java hadoop Apache spark scala string exception file Security

使用Scala从Array(使用Scary改变大小的Array [String)创建元组

使用Scala从Array(使用Scary改变大小的Array [String)创建元组

spark scala string

计算dataframe列中的剩余金额

我有一个“容量”数据帧: scala> sql("create table capacity (id String, capacity Int)");scala> sql("insert into capacity value…

SQL spark scala DataFrame BY string Create

如何使用JohnSnowLabs NLP拼写纠错模块NorvigSweetingModel?

我经历了JohnSnowLabs SpellChecker 。 我在那里找到了Norvig算法实现,示例部分只有以下两行: import com.johnsnowlabs.nlp.annotator.NorvigSweetingModel…

算法 require 模块 spark scala

如何读取CSV文件,然后将其另存为Spark Scala中的JSON?

我正在尝试读取一个包含大约700万行和22列的CSV文件。 如何在Spark Dataframe中读取CSV后将其另存为JSON文件?

Json spark scala DataFrame csv

没有规定在Scala中将Spark DataFrame转换为AWS Glue DynamicFrame

没有相应的以下代码可以从Spark DataFrame转换为Glue DynamicFrame,有什么解决方法? Convert to a dataframe and partition based on "partition_col"p…

Processing spark scala DataFrame

播放Cassandra Netty Server空指针异常

我正在使用playframework与技术,如, spark = "2.3.1",akka = "2.4.7"hadoop = "2.7.7"spring = "4.2.6.RELEASE",spark-cassandra-connect…

java spark scala Server Cassandra Core netty thread SUN

在PySpark的文字列中检测到INNER连接的笛卡尔积

以下代码引发“检测到INNER联接的笛卡尔积”异常: first_df = spark.createDataFrame([{"first_id": "1"}, {"first_id": "1"}, {"first_id": "1"}, ]…

SQL Apache spark scala exchange

无法在Spark中解析符号sqlcontext

我的SPARK版本是spark - 版本:2.3.2。导入时 import sqlContext.implicits我收到错误: 无法解析符号sqlcontext 我正在使用Intellij和scala Scala版本2.11.8

spark scala

spark UDF结果可以做'show',但不能做'filter''

UDF当我这样做时show(),spark会起作用,但是当我filter对UDF结果做出反应时它会给我错误 。 udf功能 def chkInterPunctuation(sent) : for char in sent[1:-2] : …

python java SQL Apache spark scala UDF file flink

Spark Scala生成随机RDD(1和0)?

如何创建一个填充了数组值的RDD说(0,1) - 将随机1000值填充为1并保持为0。 我知道我可以过滤并做到这一点,但它不是随机的。我希望它尽可能随机 var populationMatrix = new IndexedRowMatri…

spark scala 数组 flink

如何使用scala解压缩和解压缩.gz.tar文件在文件夹中?

我有一个包含多个xml文件的文件aa.tar.gz,我想在文件夹中解压缩此文件。 我怎样才能在Scala中实现这一目标?

scala xml flink

使用AvroParquetWriter将flink接收到parquet文件不会将数据写入文件

我正在尝试使用AvroParquetWriter将parquet文件写为接收器。文件已创建但长度为0(未写入数据)。无法清楚问题在哪里? import io.eels.component.parquet.ParquetWriterConf…

hadoop Apache path scala stream PUT schema source flink

Apache Flink:ProcessWindowFunction实现

我正在尝试使用Scala在我的Apache Flink项目中使用ProcessWindowFunction。不幸的是,我已经无法实现基本的ProcessWindowFunction,就像在Apache Flink文档中使用它一样。 这是我…

Apache entity scala string Socket flink

生成“假”流数据。

我尝试生成流数据,以模拟我收到两个值的情况,Integer类型,在不同的时间范围内,带有时间戳,Kafka作为连接器。 我使用Flink环境作为消费者,但我不知道哪个是生产者的最佳解决方案。(如果可能,Java语法优于Scala) 我应该…

java scala 解决方案 flink 流数据

确定哪个对象在Apache-Flink中不可序列化

我正在写一个Flink转换器,我有一个Histogram具有以下属性的自定义对象: case class Histogram( nRows: Int, nCols: Int, min: Int, step: Double, pr…

scala update input flink

根据Scala flink中的另一个DataSet过滤DataSet

我试图复制这个python代码: cond_entropy_x = np.array([entropy(x[y == v]) for v in uy])其中x和y是向量,并且uy是y例如的唯一值0,1。 在flink中,我有: val u…

python scala flink

Apache flink 1.6 HA独立群集:群集入口点中的致命错误

我正在尝试设置Apache Flink独立群集,该群集由2个主节点和一个工作节点组成。使用Flink 1.6和Zookeeper。要启动和停止集群,我使用了Flink的1.6文档中描述的过程,即启动集群我运行start-zookeeper…

RPC java Apache 集群 runtime scala Akka flink

无法从JAR文件构建程序

我在本地群集上运行Flink,编译包后运行flink run -c com.gurustreams.flink.EntryPoint \/Users/jeremy.zhang/workspace/guru-streams/flink/ta…

Apache scala file flink

上一页 1 ... 3 4 5 6 7 ... 9 下一页
9
GO