1. 阿里云>
  2. 云栖社区>
  3. 主题地图>
  4. P>
  5. python 大数据

当前主题:python 大数据

python 大数据相关的博客

查看更多 写博客

初学Python常见异常错误,总有一处你会遇到!

初学Python常见错误 忘记写冒号 误用= 错误 缩紧 变量没有定义 中英文输入法导致的错误 不同数据类型的拼接 索引位置问题 使用字典中不存在的键 忘了括号 漏传参数 缺失依赖库 使用了python中对关键词 编码问题 1. 忘记写冒号 在 if、eli

阅读全文

【译】使用Spark SQL 运行大规模基因组工作流

编译: 诚历,阿里巴巴计算平台事业部 EMR 技术专家,Apache Sentry PMC,Apache Commons Committer,目前从事开源大数据存储和优化方面的工作。 使用Spark SQL 运行大规模基因组工作流 在过去十年中,随着基因组测

阅读全文

《零起点Python大数据与量化交易》| 每日读本书

编辑推荐 100%零基础,无须任何编程、交易经验,也不需要具备超强的数据分析能力,只要会使用Excel就可以轻松学会本书讲解的知识点。 何海群 著 / 2017年2月出版 内容提要 《零起点Python大数据与量化交易》是国内较早关于Python大数据与量化

阅读全文

你见过的最全面的 Python 重点

由于总结了太多的东西,所以篇幅有点长,这也是我"缝缝补补"总结了好久的东西。 Py2 VS Py3 print成为了函数,python2是关键字 不再有unicode对象,默认str就是unicode python3除号返回浮点数 没有了long类型 xra

阅读全文

每一页都是干货,这10本Python新书,我必须推荐给你

十一长假归来,小编带来10本Python新书,每一本都是干货满满不可错过,同时分享你的假期阅读心得,还有机会获取哦。 1 **Python 快速入门(第3版)** 书名:《Python 快速入门(第3版)》 作者: [美]娜奥米·塞德(Naomi Ceder

阅读全文

Python使用数字与字符串的技巧

1.少写数字字面量 “数字字面量(integer literal)” 是指那些直接出现在代码里的数字。它们分布在代码里的各个角落,比如代码 del users[0] 里的 0 就是一个数字字面量。它们简单、实用,每个人每天都在写。但是,当你的代码里不断重复出

阅读全文

Nebula Graph 技术总监陈恒:图数据库怎么和深度学习框架进行结合?

引子 Nebula Graph 的技术总监在 09.24 - 09.30 期间同开源中国·高手问答的小伙伴们以「图数据库的设计和实践」为切入点展开讨论,包括:「图数据库的存储设计」、「图数据库的计算设计」、「图数据库的架构设计」等方面内容,本文整理于他和开源

阅读全文

将阿里云产品整合成为高校课程实训的训练营产品的实践(二)

从第二篇开始针对三个训练营产品逐个分析和介绍,本文首先介绍“数据科学训练营”。“数据科学训练营”是阿里云基于多年大数据商业服务经验和技术积累,结合工程教育理念倾力打造的一款学生能力训练的课程产品。本课程产品是大数据训练营集合产品的第一个包,适用于本科大一年级

阅读全文

python 大数据相关问答

查看更多 提问题

PyODPS脚本任务不定时出现 IncompleteRead问题

from odps import ODPS from odps import options options.tunnel.use_instance_tunnel = True options.tunnel.limit_instance_tunnel

阅读全文

机器学习PAI中数据视图组件怎么查看100条以后的数据

在机器学习pai的项目中会用到一些组件可以查看数据,但只能查看前100条,比如数据视图组件,请问如何查看到100条以后的所有数据

阅读全文

在使用大数据开发套件中odps_sql,怎么实现一个任务,比如从原始表抽取12月份的数据,插入到新的表分区12月

才使用odps,之前一直用pyspark做数据清洗,之前的做法,就是利用一层循环,依次读取数据,在依次写入分区表,但是这里,只能写sql进行操作,只能一个分区一个分区的执行,有没有类似于循环结构体的这种写法,求教

阅读全文

深度学习做回归问题,需要对数据做标准化吗?输出层是否需要激活函数?

1、一些 Paper 会将数据做 min-max normalization 或者 z-score normalization,然后在输出层可能会用 tanh(对应缩放到 [-1, 1])或者 sigmoid(缩放到 [0, 1])。然而有人认为做 Regre

阅读全文

在maxcompute下提交原生pyspark任务 报错odps-0420031 具体情况如下

刚刚开始接触阿里云大数据开发平台,通过官方文档看到,是完全支持原生spark的任务的提交,于是按照文档的环境配置,搭建了spark-2.3.0版本的客户端环境,但是在提交任务的过程中,已local[N]的模式提交,运行spark下的example的demo

阅读全文

【精品问答集锦】Python热门问题

Python字符串比较最小/最大str https://yq.aliyun.com/ask/495067 如何在python中组合多个列 https://yq.aliyun.com/ask/495039 在实例化类时动态选择继承? https://y

阅读全文

hbase出现lock

各位大神,有没有遇见这种情况,用HBCK2也没有用,lock一直存在 ![Snipaste_2019_06_01_16_04_06](https://yqfile.alicdn.com/70907081cbe3858138b5c97e38342099dd1c

阅读全文

PAI-studio中线性回归算法组件的参数设置“最小似然误差设置”是如何计算出来的?

log-likehood是怎么算出来的?是直接通过spark mllib或者sklearn有直接的第三方包或API直接计算吗?

阅读全文