1. 云栖社区>
  2. 全部标签>
  3. #日志#
日志

#日志#

已有0人关注此标签

内容分类:
博客 | 问答 | 课程 |

【双11背后的技术】万亿交易量级下的秒级监控

作者:郁松、章邯、程超、癫行 前言 2016财年,阿里巴巴电商交易额(GMV)突破3万亿元人民币,成为全球最大网上经济体,这背后是基础架构事业群构筑的坚强基石。 在2016年双11全球购物狂欢节中,天猫全天交易额1207亿元,前30分钟每秒交易峰值17.5万笔,每秒支付峰值12万笔。

架构 监控 双11 日志 线程 配置 reduce agent 日志分析

梨视频:基于阿里云E-MapReduce搭建视频推荐系统的实践

梨视频由前澎湃新闻掌门人邱兵创立。 在上线之前,它就获得了黎瑞刚华人文化近1亿美元投资,旗下《微辣》栏目总播放量已经超过4亿,并在上线1个月后获得“年度视频新媒体”大奖。 这样一款脱胎于传统媒体的创业型短视频软件,在视频领域异军突起,不仅让内人士在感叹梨视频内容生产力之强大的同时,也诧异于是谁在

大数据 阿里云 日志 模块 数据处理 数据流 集群 排序 数据分析 spark e-mapreduce EMR 云平台 推荐系统 梨视频

收到“云栖”寄送的丁酉鸡年礼物“阿里家书”

想不到自己收到的第一件与春节相关的礼物是“云栖”的,感谢楠管和贝管。 拆开来看,有皮外套的笔记本一样,和鸡年礼盒(有小台历、红包纸、对联、“福”贴纸和财神公仔一个)。 笔记本这么厚,代码我是不会写的了,留着写“相亲”日志吧。

HTTPS 日志 阿里家书

梨视频:基于阿里云E-MapReduce搭建视频推荐系统的实践

深度解答:梨视频如何基于阿里云快速搭建一个套推荐系统?

阿里云 日志 模块 数据处理 数据流 集群 排序 spark e-mapreduce EMR 云平台 数据中心 存储 推荐系统

【Best Practice】基于阿里云数加·StreamCompute快速构建网站日志实时分析大屏

前几天在云栖社区上写了一篇普惠性的文章很粗偏向数据架构层面。具体可以进入【数据架构解读】基于阿里云数加StreamCompute和MaxCompute构建的访问日志统计分析但是在具体实操中肯定不会那么一帆风顺。为了避免大家走弯路特意先写了一篇架构篇以免大家后续发现不适用而更改或优化工作。 本文

阿里云 日志 数加 阿里云大数据

msyql 日志分类、存储、启动,慢查询日志(一)

Mysql日志的分类: 出错日志(error log):(log_error)这个日志记载着服务器启动和关闭的情况,还记载着关于故障或异常状况的消息。 我们安装完数据库之后,启动数据库如果发生异常,我们应该首先查这个日志文件。 常规查询日志:(log)该日志包括客户连接的记录,来自客户的SQL查询和其他的各种事件。一般我们可以用其来监视用户的活动,谁在连接,从哪连接,执行哪些操作

服务器 mysql 日志 LOG windows 数据库 path 配置 syslog 控制台 索引 file 存储

msyql 日志篇(二)日志的常用配置和原理

日志详解之:常规日志; 慢查询日志;二进制日志;中继日志 出错日志(error log):(log_error)这个日志记载着服务器启动和关闭的情况,还记载着关于故障或异常状况的消息。 我们安装完数据库之后,启动数据库如果发生异常,我们应该首先查这个日志文件。 常规查询日志:(log)该日志包括客户连接的记录,来自客户的SQL查询和其他的各种事件。一般我们可以用其来监视用户的活动

服务器 mysql 日志 线程 数据库 配置 存储

LINUX 环境下源码方式安装mysql(二)my.cnf配置细节详解

1.执行cmake操作的时候要指定参数: 因为我们使用普通用户权限,对root没有写权限,如果我们采用默认的配置,那么我们安装的时候向root目录中写数据就会失败 所以我们需要指定一个安装路径,且我们要对该路径有读写的权限 2.关于my.cnf文件 my.cnf文件是数据库加载时需要读取的配置文件,所以我们在安装的时候要copy这个文件,可以从support-files中copym

linux mysql 日志 源码 数据库 高并发 配置 索引 存储

数据一致性-分区可用性-性能—多副本强同步数据库系统实现之我见

本文将跳出任何一种数据库,从原理的角度上来分析下面的几个问题: 问题一:数据一致性。在不使用共享存储的情况下,传统RDBMS(例如:Oracle/MySQL/PostgreSQL等),能否做到在主库出问题时的数据零丢失。 问题二:分区可用性。有多个副本的数据库,怎么在出现各种问题时保证系统的

数据存储与数据库 Oracle 性能 日志 数据库 主机 同步 磁盘 存储

Web程序连接MySql提示表找不到问题的分析(大小写配置问题)

今天要将一个应用程序部署到服务器上,操作系统是Linux,应用服务器是JBoss。在JBoss启动完毕之后,发现程序并没有启动,查看日志,原来在启动程序时,应用程序需要连接MySql数据库,同时要查询其中的某张表,结果说找不到这张表,报出的错误类似于:can`t fing dbName.TABLENAME(大写) 这种格式。

linux 服务器 mysql 日志 数据库 web 配置 应用服务器 Hibernate JBoss

【大数据干货】轻松处理每天2TB的日志数据,支撑运营团队进行大数据分析挖掘,随时洞察用户个性化需求。

“用户每天产生的日志量大约在2TB。我们需要将这些海量的数据导入云端,然后分天、分小时的展开数据分析作业,分析结果再导入数据库和报表系统,最终展示在运营人员面前。”墨迹天气运维部经理章汉龙介绍,整个过程中数据量庞大,且计算复杂,这对云平台的大数据能力、生态完整性和开放性提

大数据 架构 阿里云 日志 配置 数据分析 数加 运营 云平台 带宽 存储 流计算 日志分析 大数据分析 MaxCompute

【大数据干货】数据进入阿里云数加-大数据计算服务MaxCompute(原ODPS)的N种方式

想用阿里云大数据技术服务MaxCompute对于大多数人首先碰到的问题就是数据如何迁移到MaxCompute中。按照数据迁移场景大致可以分为批量数据、实时数据、本地文件、日志文件等的迁移下面我们针对每种场景分别介绍几种常用方案。

大数据 日志 数据迁移 数据同步 异构数据 MaxCompute 大数据平台 大数据开发套件

mysql-bin.000001文件的来源及处理方法

mysql的数据文件夹里出现mysql-bin日志文件,通过my.cnf注释掉log后,是否可以删除了? 参考 http://database.51cto.com/art/201107/278988.htm 详细介绍mysql-bin.000001文件的来源及处理方法 在MySQL数据库中,mysql-bin.000001、mysql- bin.000002等文件是数据库的操作日志,例如UPDATE一个表,或者DELETE一些数据,即使该语句没有匹配的数据,这个命令也会存储到日志文件中,还包括每个语句执行的时间,也会记录进去的。

服务器 mysql 日志 数据库 同步

日志易助力支付行业:想成为下一个支付宝?支付失败率先降低

日志易作为国内领先的海量日志分析产品,整个系统由多个模块构成,用户可以根据自身服务器资源、数据量、系统稳定性等因素自定义各个模块的节点组成,同时支持物理机和虚拟机混合部署,保证数据安全性。多家知名支付公司采用了日志易提供的解决方案满足合规性要求并进行海量数据的挖掘分析:

系统研发与运维 大数据 阿里云 日志 电商 数据分析 报表 日志分析 关联分析 日志易 日志分析产品

Redis内核基于时间点的备份恢复和基于AOF日志的增量同步机制设计

11月30日云栖社区在线培训,阿里云资深开发工程师夏德军为大家带来阿里云Redis内核优化的分享。本文从两大方面介绍阿里云Redis服务,一是Redis内核支持基于时间点的备份恢复,一是Redis基于AOF日志的增量同步机制设计,并分别通过假设场景,详细的分析了备份恢复流程和AOF PSYNC流程。

云栖社区 redis 阿里云 日志 线程 配置 同步

MongoDB应用案例:使用 MongoDB 存储日志数据

线上运行的服务会产生大量的运行及访问日志,日志里会包含一些错误、警告、及用户行为等信息,通常服务会以文本的形式记录日志信息,这样可读性强,方便于日常定位问题,但当产生大量的日志之后,要想从大量日志里挖掘出有价值的内容,则需要对数据进行进一步的存储和分析。 本文以存储 web 服务的访问日志为例,介

MongoDB HTTPS 日志 http events path 数据分析 DB 索引 html 存储 日志分析 云数据库MongoDB版

9
GO