1. 阿里云>
  2. 云栖社区>
  3. 主题地图>
  4. P>
  5. python sql

当前主题:python sql

【译】使用Spark SQL 运行大规模基因组工作流

原文链接: https://databricks.com/blog/2019/06/26/scaling-genomic-workflows-with-spark-sql-bgen-and-vcf-readers.html 编译: 诚历,阿里巴巴计算平台事业

阅读全文

从0到1完全掌握大数据

作者:阿里云MVP 翟永东 大数据的由来 最早提出大数据时代到来的是麦肯锡:“数据,已经渗透到当今每一个行业和业务职能领域,成为重要的生产因素。人们对于海量数据的挖掘和运用,预示着新一波生产率增长和消费者盈余浪潮的到来。” 业界(IBM最早定义)将大数据的特

阅读全文

漏洞管理平台『洞察』部署指南

『洞察』是集成应用系统资产管理、漏洞全生命周期管理、安全知识库管理三位一体的管理平台。 『洞察』使用了Python语言进行开发,利用Flask框架+MySQL+Docker部署实现。 一、部署和启动mysql docker pull mysql:5.7.13

阅读全文

创客运动引发第三次工业革命

“创客运动引发第三次工业革命”,如果这句话不是出自前富士康CEO,前TI亚太区总裁程天纵之口,制或这句话不是来源于《长尾理论》作者克里斯•安德森的新作《创客》。也许你会觉得很不以为然,创客——那些目前看似不起眼的电子制作爱好者——能引发第三次工业革命?这个论

阅读全文

贝叶斯优化在XGBoost及随机森林中的使用

XGBoost和Random-Forest(RF,随机森林)都属于集成学习(Ensemble Learning),集成学习的目的是通过结合多个基学习器的预测结果来改善单个学习器的泛化能力和鲁棒性,通过组合各个决策树的输出来进行预测(分类或回归)。而集成学习按

阅读全文

从少年黑客到技术大神,揭秘背后鲜为人知的故事

作者:阿里云MVP 乔锐杰 我从小喜欢数学,喜欢思考,计算机正好带给我这样一个世界,从初中开始就研究各种木马盗号,这一切都只是源于好玩,为此还获得了“黑客”的称号。 我还参加过2003年的中美黑客大战,加入 “中国红客联盟”组织,向美国政府及商业机构网站进行

阅读全文

MaxCompute问答整理之6月

本文是基于本人对MaxCompute产品的学习进度,再结合开发者社区里面的一些问题,进而整理成文。希望对大家有所帮助,下面咱们正式开始。 1、什么是MaxCompute呢? MaxCompute是由阿里人自主研发的海量数据处理平台,可以称它为计算引擎。它主要

阅读全文

Seata 0.7.0 正式发布

Seata 是 阿里巴巴 开源的 分布式事务中间件,以 高效 并且对业务 0 侵入 的方式,解决 微服务 场景下面临的分布式事务问题。 Seata 0.7.0 已正式发布,本次共合并59pr,主要包括:protobuf 支持,mertric 支持,新协议重设

阅读全文

python sql相关问答

查看更多 提问题

在使用大数据开发套件中odps_sql,怎么实现一个任务,比如从原始表抽取12月份的数据,插入到新的表分区12月

才使用odps,之前一直用pyspark做数据清洗,之前的做法,就是利用一层循环,依次读取数据,在依次写入分区表,但是这里,只能写sql进行操作,只能一个分区一个分区的执行,有没有类似于循环结构体的这种写法,求教

阅读全文

如何列出Google Big Query中所有数据集中所有表的大小

我正在试图找出如何列出Google Big Query中所有项目中所有表格的所有大小。也许它将是多个表的SQL联盟。虽然,我在这里看很多表,所以我想要一些自动化解决方案。我可以使用R代码来执行此任务。或者我可以使用Python来做到这一点。

阅读全文

Pandas DataFrame,matplotlib和不同的SQL数据类型

我想从MySQL数据库创建温度和时间数据图。使用matplotlib和pandas使用python3on raspbian我试图在Y轴上插入温度,在X轴上插入时间。 Y轴工作正常,它绘制temps(float)没有任何问题。但是,当我尝试添加time(t

阅读全文

python sql in %问题

``` In[1]:secucode Out[1]:('002604', '002645', '002702', '002771', '300205', '300264', '300

阅读全文

Django模型继承奇怪或预期的行为?

我目前正在使用django 1.11开发一个项目,并且一段时间都在努力寻找错误原因。我不知道这是一个错误或预期的行为,并希望有人可以解决问题或指出我正确的方向。我已经搜索过类似的问题,但没有找到类似的东西。 问题是以下,我有一个基础模型类: cla

阅读全文

从csv文件读取输入时,如何在Cassandra中插入数据时达到50k / s的吞吐量?

我的目标是增加Cassandra中版本控制数据的吞吐量。我使用了并发读取和写入,并且还增加了我的代码从文件中读取的块大小。我的机器是16GB,有8个核心,是的,我已经改变了Cassandra的yaml文件,进行了10k并发读写,当计时时,我发现10000次写入

阅读全文

加入两个列表列值,如Pyspark中的zip

我有一个pandas数据帧。我试图首先将包含字符串值的两列连接到列表中,然后使用zip,我使用'_'连接列表的每个元素。我的数据集如下: df['column_1']: 'abc, def, ghi' df['column_2']: '1.0, 2.0

阅读全文