ODPS,PAI 入门笔记

本文涉及的产品
交互式建模 PAI-DSW,5000CU*H 3个月
简介: 新学者,记录自己的探索轨迹 ODPS是一套独立于Hadoop/Spark/的计算平台,优势: 1 依托阿里云的强大算力 2. DTPAI图形界面可以给你单机GUI数据挖掘(类似SPSS/SAS)的方便,能调用并行资源, 3. 内置很多机器学习算法4. 其他辅助数据很多,比如郡县图治 5.
新学者,记录自己的探索轨迹

ODPS是一套独立于Hadoop/Spark/的计算平台,优势:
1 依托阿里云的强大算力
2. DTPAI图形界面可以给你单机GUI数据挖掘(类似SPSS/SAS)的方便,能调用并行资源,
3. 内置很多机器学习算法

4. 其他辅助数据很多,比如郡县图治

5. PYODPS也有了,Dataframe等


使用流程
1. 阿里云官网开通大数据计算服务
2. 阿里云官网ODPS控制台创建项目:http://odps.console.aliyun.com
    数据管理和big table 定义平台:http://ide.shuju.aliyun.com
    左侧图标是table mgmt
开通后DTPAI里预览数据是右键。Execute

小心安装时候如果有System Proxy可能会出md5 校验错


SQL语句独特格式:

select a,b from tablea distrbt by a order by B (类似paritition 分析函数,但是分发到不同机器处理,否则速度无法接受)

select a from tablea order by a limit 10 (否则也有巨大延时

相关实践学习
使用PAI-EAS一键部署ChatGLM及LangChain应用
本场景中主要介绍如何使用模型在线服务(PAI-EAS)部署ChatGLM的AI-Web应用以及启动WebUI进行模型推理,并通过LangChain集成自己的业务数据。
机器学习概览及常见算法
机器学习(Machine Learning, ML)是人工智能的核心,专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能,它是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。 本课程将带你入门机器学习,掌握机器学习的概念和常用的算法。
目录
相关文章
|
3月前
|
机器学习/深度学习 存储 分布式计算
机器学习PAI关于maxcompute上用protobuf 处理数据,比较方便的方式
机器学习PAI关于maxcompute上用protobuf 处理数据,比较方便的方式
|
6月前
|
SQL 分布式计算 大数据
黑马程序员-大数据入门到实战-分布式SQL计算 Hive 入门
黑马程序员-大数据入门到实战-分布式SQL计算 Hive 入门
73 0
|
6月前
|
分布式计算 资源调度 大数据
黑马程序员-大数据入门到实战-MapReduce & YARN入门
黑马程序员-大数据入门到实战-MapReduce & YARN入门
77 0
|
6月前
|
大数据 Java Linux
黑马程序员-大数据入门到实战-前置章节
黑马程序员-大数据入门到实战-前置章节
47 0
|
6月前
|
存储 SQL 大数据
大数据技术之ClickHouse---入门篇---介绍
大数据技术之ClickHouse---入门篇---介绍
|
7月前
|
存储 分布式计算 网络协议
大数据Spark Streaming入门
大数据Spark Streaming入门
80 1
|
6月前
|
SQL 存储 大数据
黑马程序员-大数据入门到实战-分布式SQL计算 Hive 语法与概念
黑马程序员-大数据入门到实战-分布式SQL计算 Hive 语法与概念
77 0
|
6月前
|
存储 SQL 大数据
大数据技术之Clickhouse---入门篇---数据类型、表引擎
大数据技术之Clickhouse---入门篇---数据类型、表引擎
|
1天前
|
分布式计算 大数据 数据处理
[AIGC大数据基础] Spark 入门
[AIGC大数据基础] Spark 入门
|
4月前
|
分布式计算 大数据 Java
问我大数据怎么入门,我总结了亲身体验的学习路线推荐给她【推荐收藏】
问我大数据怎么入门,我总结了亲身体验的学习路线推荐给她【推荐收藏】
49 0

热门文章

最新文章