1. 阿里云>
  2. 云栖社区>
  3. 主题地图>
  4. S>
  5. 数据清洗

当前主题:数据清洗

数据清洗相关的问答

对于数据清洗频度非常高的应用,用redis合适不?

对于数据清洗频度非常高的应用,用redis合适不?

阅读全文

在使用大数据开发套件中odps_sql,怎么实现一个任务,比如从原始表抽取12月份的数据,插入到新的表分区12月

才使用odps,之前一直用pyspark做数据清洗,之前的做法,就是利用一层循环,依次读取数据,在依次写入分区表,但是这里,只能写sql进行操作,只能一个分区一个分区的执行,有没有类似于循环结构体的这种写法,求教

阅读全文

请教大家一个问题: spark on yarn 内存溢出 除了增加driver内存以外还有什么好的解决方案吗?

我现在一个清洗程序 从kafka读取消息 然后处理 然后写入kafka sink。 driver 给了它4G 还报内存溢出,我查了下内存溢出那时段的数据是比较少的。 一分钟最多100条。

阅读全文

1. 我们是一家金融公司,之前人少钱少,现在随着人多了,碰到了数据管理上的难点,希望有解决方案 2. 多个数据源的ETL + 多种数据类似(时间序列,复杂对象,基本面数据等)的存储(规模上T) 3. 希望在数据获取,清洗,存储,获取一整套系统上,都有所提高。

1. 我们是一家金融公司,之前人少钱少,现在随着人多了,碰到了数据管理上的难点,希望有解决方案 2. 多个数据源的ETL + 多种数据类似(时间序列,复杂对象,基本面数据等)的存储(规模上T) 3. 希望在数据获取,清洗,存储,获取一整套系统上,都有所提高

阅读全文

greenplum的应用场景

前辈您好! 我先简单介绍一下背景:我搭建了一个PostgreSQL数据库用来存储单独一台机床在加工过程中产生的各种数据,我想借助神经网络等手段来分析这些数据,在此之前,需要对数据进行清洗、去噪和特征提取等操作,并将处理后的数据保存,以备将来训练和测试神经网络

阅读全文

你好,目前我们往maxcompute上传的数据都是结构的表数据,是我们在本地服务器对用户的行为日志分析后提取到的所需信息,在将这些结构化的数据上传到maxcompute。

你好,目前我们往maxcompute上传的数据都是结构的表数据,是我们在本地服务器对用户的行为日志分析后提取到的所需信息,在将这些结构化的数据上传到maxcompute。我想问一下,我们能不能直接把收集到的用户行为日志长传到maxcompute,然后在你们的服

阅读全文

阿里云ACA第二章考试有些问题不懂

疑惑一:如果要呈现产品类型、区域、销量,用哪种图? (4选1:气泡图、 柱状图、瀑布图、饼图) 疑惑二:数据分析平台包括哪些部分?5选3(事务处理、数据同步、数据清洗、数据处理、数据展现) 疑惑三:一个大型企业每天产生10T数据,直接放在业务系统进行数据分

阅读全文

MaxCompute百问集锦(持续更新20171011)

![fd7e5655f16e03d1198dc492cead625bbfb9af58_jpeg](https://yqfile.alicdn.com/ee78085f2e6a147c3fffcc95038b11a73c609bf1.jpeg) 大数据计算服务

阅读全文

MaxCompute用正则表达式清洗数据的时候遇到报错:FAILED: ODPS-0121095:Invalid arguments - in function regexp_substr bad utf8 string input: 造成insert语句整体失败。 请问怎么忽略这一条错误的数据,继续处理其它数据?

MaxCompute用正则表达式清洗数据的时候遇到报错:FAILED: ODPS-0121095:Invalid arguments - in function regexp_substr bad utf8 string input: 造成insert语句整

阅读全文

安全技术百问,老板再也不用担心病毒勒索了!

![app_686_160](https://yqfile.alicdn.com/12143b36f379afc19511912bc5f592acee2460b5.png) 近期安全事件频发,从GitLab数据库被删除事件以及炉石传说数据库问题以及Mon

阅读全文

不懂如何使用ECS?ECS功能百问看这里

云服务器(Elastic Compute Service,简称 ECS)是一种简单高效、处理能力可弹性伸缩的计算服务,帮助您快速构建更稳定、安全的应用,提升运维效率,降低 IT 成本,使您更专注于核心业务创新。 阿里云ECS不仅有面向企业场景的计算实例、

阅读全文

odps同步到mysql,mysql建表关联到网页,如何实现

已知:1.爬到的数据经过odps清洗处理过后生成临时表。2.有mysql数据库 需求:在网页搜索批量关键字来对比临时表中的数据(同时几百条),需要输出pass和fail,以达到验证效率。 请问有什么方法可以实现,越具体越好,菜鸟深夜第一发,谢谢。

阅读全文