备案控制台
探索云世界
开发者社区 大数据与机器学习 大数据计算 MaxCompute 文章 正文

云数据，大计算—海量日志数据分析与应用

2016-10-21 6879
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 网站日志分析是大数据应用场景中非常常见的一种，今天我们通过实例对网站日志数据进行分析，从日志采集——>日志数据清洗、加工做画像分析——>BI报表展现，更进一步，通过社交数据分析做好友推荐 ，对整个全链路过程做实验操作演练，希望能给大家提供一些帮助。

课程介绍 

         网站日志分析是大数据应用场景中非常常见的一种，今天我们通过实例对网站日志数据进行分析，从日志采集——>日志数据清洗、加工做画像分析——>BI报表展现，更进一步，通过社交数据分析做好友推荐 ，对整个全链路过程做实验操作演练，希望能给大家提供一些帮助。


准备工作

        杭州TI专场，workshop现场是在云中沙箱账号环境进行的实验操作，若您想在自己的项目中进行演练，请准备好如下事项：
        1、 购买MaxCompute
        3、 进入数据开发界面

课程内容

        3、 数据加工：用户画像

        4、数据分析展现：可视化报表及嵌入应用

        5、社交数据分析：好友推荐


文章标签：
日志服务
大数据
数据挖掘
BI
关键词：
日志服务应用
数据分析应用
数据分析数据
云数据计算
数据分析计算
相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
jing.luojing
目录
相关文章
cuicuicuic
|
26天前
|
监控 Serverless 数据库
Serverless 应用引擎常见问题之biphon-education-配置了SLS后一直重启如何解决
Serverless 应用引擎（Serverless Application Engine, SAE）是一种完全托管的应用平台，它允许开发者无需管理服务器即可构建和部署应用。以下是Serverless 应用引擎使用过程中的一些常见问题及其答案的汇总：
cuicuicuic
28 5
三分钟热度的鱼
|
29天前
|
运维 监控 数据挖掘
应用研发平台EMAS产品常见问题之将阿里后台的日志落到我们后台失败如何解决
应用研发平台EMAS（Enterprise Mobile Application Service）是阿里云提供的一个全栈移动应用开发平台，集成了应用开发、测试、部署、监控和运营服务；本合集旨在总结EMAS产品在应用开发和运维过程中的常见问题及解决方案，助力开发者和企业高效解决技术难题，加速移动应用的上线和稳定运行。
三分钟热度的鱼
22 0
虫无涯
|
1月前
|
自然语言处理 小程序 数据挖掘
数据分析实战-Python实现博客评论数据的情感分析
数据分析实战-Python实现博客评论数据的情感分析
虫无涯
95 0
金牛座Tina15579030501
|
2月前
|
数据采集 数据挖掘 API
主流电商平台数据采集API接口|【Python爬虫+数据分析】采集电商平台数据信息采集
随着电商平台的兴起，越来越多的人开始在网上购物。而对于电商平台来说，商品信息、价格、评论等数据是非常重要的。因此，抓取电商平台的商品信息、价格、评论等数据成为了一项非常有价值的工作。本文将介绍如何使用Python编写爬虫程序，抓取电商平台的商品信息、价格、评论等数据。 当然，如果是电商企业，跨境电商企业，ERP系统搭建，我们经常需要采集的平台多，数据量大，要求数据稳定供应，有并发需求，那就需要通过接入电商API数据采集接口，封装好的数据采集接口更方便稳定高效数据采集。
金牛座Tina15579030501
159 10
4as3qn2go3ure
|
4天前
|
数据挖掘 定位技术
基于出租车GPS轨迹数据的研究：出租车行程的数据分析
基于出租车GPS轨迹数据的研究：出租车行程的数据分析
4as3qn2go3ure
5 0
众所周知
|
5天前
|
机器学习/深度学习 数据采集 数据挖掘
Python 的科学计算和数据分析： 解释什么是数据规整（Data Wrangling）？
【4月更文挑战第15天】数据规整是将原始数据转化为适合分析和建模的格式的关键步骤，涉及缺失值处理（删除、填充、插值）、异常值检测与处理、数据类型转换、重采样、数据合并、特征选择和特征变换等任务。这些预处理步骤确保数据质量和准确性，为后续的数据分析和机器学习模型构建奠定基础。
众所周知
18 4
vohelon
|
16天前
|
存储 机器学习/深度学习 数据采集
数据分析师如何处理数据以进行分析？
【4月更文挑战第4天】数据分析师如何处理数据以进行分析？
vohelon
18 9
游客pxynxsrl3ycx6
|
17天前
|
人工智能 监控 数据可视化
【Python】Python商业公司贸易业务数据分析可视化（数据+源码）【独一无二】
【Python】Python商业公司贸易业务数据分析可视化（数据+源码）【独一无二】
游客pxynxsrl3ycx6
19 0
cuicuicuic
|
27天前
|
存储 SQL Serverless
Serverless 应用引擎常见问题之应用下的【应用事件】以及企业级特性下的【事件中心】没有日志如何解决
Serverless 应用引擎（Serverless Application Engine, SAE）是一种完全托管的应用平台，它允许开发者无需管理服务器即可构建和部署应用。以下是Serverless 应用引擎使用过程中的一些常见问题及其答案的汇总：
cuicuicuic
34 0
鲜于言悠
|
1月前
|
存储 数据采集 数据挖掘
python数据分析——数据分类汇总与统计
数据分类汇总与统计是指将大量的数据按照不同的分类方式进行整理和归纳，然后对这些数据进行统计分析，以便于更好地了解数据的特点和规律。
鲜于言悠
56 1
大数据与机器学习

大数据计算 MaxCompute

热门文章

最新文章

  • 1
    如何充分发挥 SQL 能力
  • 2
    阿里巴巴飞天大数据平台MaxCompute（原名ODPS）全套攻略（持续更新20200109）
  • 3
    阿里云开源离线同步工具DataX3.0介绍
  • 4
    大数据环境下该如何优雅地设计数据分层
  • 5
    阿里云数加大数据计算服务MaxCompute学习路线图 (持续更新中)
  • 6
    阿里云MaxCompute（大数据）公开数据集---带你玩转人工智能
  • 7
    Python+大数据计算平台，PyODPS架构手把手教你搭建
  • 8
    使用 odps-jdbc 接入 ODPS，不再从零开始
  • 9
    干货：解码OneData，阿里的数仓之路。
  • 10
    MySQL超时参数以及相关数据集成、DataX数据同步案例分享
  • 1
    Kotlin 中如何使用 Fuel 库进行代理切换？
    17
  • 2
    常用的有限元网格生成方法
    90
  • 3
    MaxCompute( 原名ODPS)大数据容灾方案与实现（及项目落地实例）专有云
    278
  • 4
    MaxCompute( 原名ODPS)大数据容灾方案与实现（及项目落地实例）专有云
    94
  • 5
    MaxCompute 近实时增全量处理一体化新架构和使用场景介绍
    513
  • 6
    阿里云 MaxCompute MaxFrame 开启免费邀测，统一 Python 开发生态
    197
  • 7
    数仓学习---数仓开发之DWS层
    188
  • 8
    数据仓库(13)大数据数仓经典最值得阅读书籍推荐
    157
  • 9
    数据仓库(12)数据治理之数仓数据管理实践心得
    230
  • 10
    python数据分析——数据分析人员的基本道德要求
    127

    • 相关课程

    更多
  • Quick BI在业务数据分析中的实战应用
  • Python 数据分析库 Pandas 快速入门
  • 深入理解数据分析
  • 场景实践-基于阿里云Quick BI 对MOOC网站日志分析
  • 场景实践-通过阿里云数据分析工具实现共享单车骑行分析

    • 相关电子书

    更多
  • PostgresChina2018_赖思超_PostgreSQL10_hash索引的WAL日志修改版final
  • Kubernetes下日志实时采集、存储与计算实践
  • 日志数据采集与分析对接

    • 相关实验场景

    更多
  • 倚天大数据电商数据分析快速实践
  • 使用CloudLens管理SLS日志采集
  • 使用CloudLens采集PolarDB日志并进行审计分析
  • 使用CloudLens采集RDS日志并进行审计分析
  • AnalyticDB MySQL游戏行业数据分析实践
  • 基于SLS快速实现业务可观测
    • 下一篇
    阿里云oss简介和使用流程