1. 云栖社区>
  2. 全部标签>
  3. #存储#
存储

#存储#

已有8人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

[@小川游鱼][¥20]hive 或者 presto 有没有类似于mybatis 能把表给结构化 并把sql语句提取出来的框架

现在我们的产品,通过presto 查询hive;ElasticSearch;mysql里面的数据,并且这些不同存储的会通过presto进行关联查询, 但是我们的业务比较复杂,sql比较长 是直接写在java里面的 这样维护难度很大 有没有…

数据存储与数据库 java mysql SQL 解决方案 Elasticsearch Hive 存储 mybatis

[@倚贤][¥20]reids 如何查找长时间(一个月、两个月、一周或者一天)没有被访问的key?

我用hash缓存了一些用户信息 开始设计key的时候为 user_info_[uid],一年以后我修改成 userinfo:[uid]做redis存储的时候一直都没有写过期时间,现在redis里面同样的信息就有了两份,想删除一份,就用户信…

redis Lua HASH 存储

[@徐雷frank][¥20]我现在有一亿个正整数,平均存储在100个文本里面,每行一个数字; 每个文件里面数字的顺序是随机的,给定一个数字,如果快速确定它在特定文件的哪一行?

我现在有一亿个正整数,平均存储在100个文本里面,每行一个数字; 每个文件里面数字的顺序是随机的,给定一个数字,如果快速确定它在特定文件的哪一行?

数据存储与数据库 存储

如何从kubernetes configmap中执行bash命令?

我使用helm图表创建容器并将其部署到我的K8集群中。我的一个pod需要一个配有sdk密钥的配置文件,以便能够正常启动和运行。此sdk密钥被视为机密密钥,存储在AWS秘密管理器中。因此,我不想将配置文件烘焙到我的docker镜像中。我希望…

docker sdk 配置 镜像 集群 容器 解决方案 存储 Bash k8s

如何使用密钥中的ssh密钥将私有git存储库克隆到kubernetes pod?

我正在尝试使用SSH密钥进行身份验证,将私有git存储库(gitLab)克隆到kubernetes pod中。我秘密存储了我的钥匙。这是执行所需任务的作业的yaml文件。 执行后初始化容器的日志: fetch http://dl-cdn.…

SSH Image git metadata source 存储 k8s

Kubernetes在目录中并行化多个样本

我能够在AKS上运行kubernetes工作(使用docker hub image处理生物样本,然后将输出上传到blob存储 - 这是通过我在yaml文件的args部分提供的bash命令完成的)。但是,我有20个样本,并且想要启动20个节点…

docker Image hub 存储 Bash k8s

在Apache Flink中手动更新状态的最佳方法是什么?

我在股票市场项目中使用Apache Flink来计算当前的价格变化。公式是 price_change = (current_price - previous_close_price) / previous_close_priceprevi…

redis 性能 Apache 解决方案 存储 flink

将Apache Flink中的关系数据存储为状态并通过属性查询

我有一个包含表T1(id,name,age)和T2(id,subject)的数据库。Flink使用诸如debezium之类的东西从事件流接收来自数据库的所有更新。这些表被彼此相关的和所需的数据可以由被提取接合 T1与T2上的id。目前,数据…

SQL Apache 数据库 scala 索引 存储 数据存储 flink

在MaxCompute创建外部表时,对于空列的处理

我想创建一个外部表,关联的是一个存储在OSS服务当中的CSV文件。有一列的数据是有时空,有时有数据。对于创建这样的外部表,应该用什么语句? 我run脚本创建的时候,报下面的错误 1> 2018-12-13 13:46:40 Stat…

编程语言 数据存储与数据库 OSS csv 存储

[@wangccsy][¥20]云存储的优势是什么?

云服务已成为最适合以数字方式在线存储数据的选项。在早期,大多数公司过去依赖内部服务器来存储他们不断增长的数据和在线文件集合;但是今天在云服务器上在线存储数据是下一件大事,因为它允许无限存储。将所有数据存储在云中的最佳方法是确保可承受性,并…

互联网产品及应用 服务器 云服务器 云存储 云服务 存储 数据存储

[@徐雷frank][¥20]搭建 NAS 服务有什么好的方案吗?

最近入坑 NAS ,毕竟数据无价,存储备份很重要。求问下有什么方案可以推荐下吗?

数据存储与数据库 存储

[@徐雷frank][¥20]如何搭建Hadoop处理环境?

Apache Hadoop 是用于开发在分布式计算环境中执行数据处理应用程序的框架。旨在从单个服务器提供存储和计算资源的方式扩展到数千台机器。Apache Hadoop的核心部分由存储部分(Hadoop分布式文件系统)及其数据处理部分(Ma…

大数据 服务器 hadoop Apache 数据处理 分布式计算 分布式文件系统 Mapreduce 存储

AWS Glue - 是否使用Crawlers

对于以parquet格式运行来自S3存储桶的数据的作业,有两种方法: 创建一个爬虫来创建一个模式表,用于glueContext.create_dynamic_frame.from_catalog(dbname, tablename)在Gl…

性能 path spark 存储

Apache Flink 1.6.0 - StateTtlConfig和ListState

我正在使用Apache Flink 1.6.0实现概念验证流处理系统,并存储一个按键分区的接收事件列表ListState。(不要担心我为什么这样做,只是在这里和我一起工作。)我StateTtlConfig有一套相应的ListStateDe…

Apache ADD 存储 flink

flink在批量处理模式下会减少吗

根据flink流媒体文档: 窗口函数可以是ReduceFunction,FoldFunction或WindowFunction之一。前两个可以更有效地执行(参见State Size部分),因为Flink可以在每个窗口到达时递增地聚合它们的…

Go 函数 reduce Cassandra 存储 input flink

OTS表格存储适用于爬虫采集大数据的存储查询吗?又如何购买OTS表格存储?

您好,我目前在用分布式爬虫爬取海量数据,数据约100亿条,目前是sql server做存储,数据量太大了,sql server优化实在很累,不经常优化,查询数据时很慢,我想问一下表格存储适用存储并且查询海量数据吗? 我爬取的数据就以下6个…

数据存储与数据库 分布式 大数据 SQL 数据库 Server url ots 高性能 表格存储 存储 海量数据

Flink 1.5.4没有在Kubernetes中注册Google云端存储(GCS)文件系统,尽管它在docker容器中有效

我试图启动一个flink-jobmanager坚持其在GCS状态,所以我加了high-availability.storageDir: gs://BUCKET/ha一行到我flink-conf.yaml和我建立我的Dockerfile描述…

java docker hadoop Apache 容器 runtime Core google Create Security 存储 flink

根据值将RDD拆分为多个RDD而不执行`collect()`和`filter()`[duplicate]

我想基于行中的值将RDD拆分为多个RDD。行中的值是预先知道的并且本质上是固定的。 例如 source_rdd = sc.parallelize([('a',1),('a',2),('a',3),('b',4),('b',5),('b',…

spark 存储

如何删除PySpark中少于三个字母的单词?

我有一个“文本”列,其中存储了令牌数组。如何过滤所有这些数组,使令牌长度至少为三个字母? from pyspark.sql.functions import regexp_replace, colfrom pyspark.sql.sess…

SQL spark session 存储 数组

上一页 1 ... 4 5 6 7 8 ... 20 下一页
20
GO