新网银行:银行核心业务系统日志监控平台建设实践

简介: 日志分析平台,帮助新网银行更好的成长~

一、日志分析,驱动银行创新进化

“互联网金融正在冲击传统的物理银行概念,商业银行将成为21世纪灭绝的恐龙,互联网金融出现之后,物理概念上的银行将会被颠覆。此外,现有金融格局也将受到冲击,产生互联网时代的金融巨无霸。”

——中国人民银行调查统计司副司长徐诺金

四川新网银行是全国三家互联网银行之一,由新希望集团、小米、红旗连锁等股东发起,于2016年12月28日正式开业,是银监会批准成立的全国第七家民营银行,也是四川省首家民营银行。

新网银行业务运维部门负责人认为,日志数据是一座有待开发的金矿。日常中运维故障排查中也需要通过查询日志定位问题,所以他希望可以对日志进行统一的监控和管理,更好的服务业务部门,但是随着业务体量增大,需要查看的服务器越来越多,如何准确获取运维需要的信息是一个难题。

首先,新网银行对业内比较火的开源日志系统ELK进行了深入的研究,但新网银行的需求是基于业务层面对日志进行分析,对日志分析的功能需求比较个性化,如果使用开源产品,后续就必定需要经常会对其进行一系列的开发和整合,这样就会消耗很多时间和精力,所以新网银行更希望有一套成熟的日志分析解决方案来协助他们对业务进行统一监控和运维。

通过寻找对比市面上的一些日志分析解决方案厂家,新网银行了解到袋鼠云日志团队拥有多年PB级日志数据处理和分析的经验,对业务日志分析也有丰富的实践案例积累,双方一拍即合,希望通过打造一套完整的日志分析解决方案,通过对日志数据进行集中采集、分析、展示,实现对业务系统的实时监控报警、故障分析定位,打造数据驱动的智能运维平台体系。

1

通过日志分析平台的建设,新网银行取得了以下成果:

  • 将日志数据统一收集、存储,满足监管合规需求
  • 银行日志数据有严格的存储时间要求,新网银行实现了将行内各应用业务系统、网络设备等的日志数据进行统一采集、集中存储和长期保存备份。

2

根据流水号
查询交易日志了解业务详情

  • 通过对日志数据进行解析,实现对主要业务系统的运维监控
  • 通过将新网银行各业务系统运行中交易异常、耗时异常,接口错误等关键指标进行聚合统计后,配置相应告警规则,对接行内短信通道及统一告警管理平台,并在故障产生的第一时间告警给负责人员,大大缩短了运维人员的排障时间,降低故障带来的损失。

3

通过对各交易流水日志进行解析
监控各应用请求的耗时

  • 业务监控数据用可视化报表呈现,让数据价值看得见,真正实现数据驱动
  • 通过仪表盘将行内各业务监控指标进行可视化展示,让业务人员和运维人员都能直观地查看异常信息,了解交易详情。

707046c8381f6b3d359b25e220135aa8471b4a29e2b4c0d65f8f39266a78018aa96f7eb04b6328be

将监控指标用可视化图表展示
异常信息一目了然

  • 权限设置,实现分系统分权限查看日志
  • 为了减少和防止人为误操作,保障生产环境的稳定运行,日志平台根据业务系统数据及功能需求严格控制研发、运维及管理人员的权限,故障排查再也无需登录生产环境。

6

二、新网银行和袋鼠云合作探索数据驱动:数据—技术—业务

总结新网银行和袋鼠云的整个合作过程,不得不提到袋鼠云CEO陈吉平经常讲到的三角形架构:“数据——技术——业务”。所谓数据驱动,底层一定是技术来支撑,在具体的业务场景里,挖掘数据的价值,驱动业务创新发展。

新网银行一期计划接入行内20多个业务系统,工作量繁重且艰巨。而且银行业务系统的复杂性,以及外包开发人员打印日志的不规范性,给接下来的日志分析带来了极大的挑战。

作为中国互联网银行业务的创新标杆,新网银行理所当然最了解自身的银行和金融业务。

所以袋鼠云工程师和新网银行的专家们进行紧密合作,深入了解新网银行的业务场景,计划按照业务的优先级将一期20多个业务系统分批接入。首先确定接入的是行内关键的3个业务系统,基于每个业务系统的特殊日志分析需求,双方合作对新网银行的特定业务日志进行了定制化的场景分析。

在和新网银行一起进行日志场景化分析的过程中,袋鼠云日志产品将这些需求沉淀、产品化,袋鼠云日志产品的场景分析功能迅速迭代,配合新网银行内部业务日志的改造工程,一同完善整体日志分析方案。

一个月的时间内,袋鼠云和新网银行共同努力,三大关键业务系统的日志分析功能上线,新网银行的日志分析平台建设初显成果。

在和新网银行建设日志分析平台的过程中,袋鼠云日志实现了和行内大数据平台ES的完全兼容。

也就是说,经由袋鼠云日志平台采集存储加工处理的日志数据可无缝对接到很多银行企业原有的大数据平台中,解决银行企业数据集中难的痛点和难点。

7


新网银行 X 袋鼠云合作打造的日志监控平台
(注:图中数据为演示数据)

三、回到新网银行 X 袋鼠云 合作的起点

2017年6月6日,2017年全国高考开始的前一夜。

当天,还在新网银行做POC测试的袋鼠云日志团队收到一个艰巨的“考题”:

2017年6月9日,新网银行的投资方之一小米科技的创始人雷军将要到新网银行视察。为了更直观、形象地展示行内业务发展情况和科技应用成果,新网银行计划采用当前比较流行的数据可视化的形式。

从需求承接到设计,数据研发,部署一共只有三天时间,听起来是一个完全不可能完成的任务。但是不试一下怎么知道不行?

袋鼠云了解到这一需求,迅速抽调内部设计和前端、后端资源,全力配合:新网银行的工程师们迅速抽取、处理和分析数据,袋鼠云的工程师们则负责大屏展示的设计和前端开发。

3天,72小时,加班加点的努力终于开花结果。

8


最终,在2017年6月9日,领导来视察前,一起完成了这项艰巨项目,并获得了领导的肯定和赞扬。

袋鼠云用了三天三夜定义了自己倡导的价值观:客户第一、团队协作、专业、担当。

9

四、没有技术,是行不通的;只有技术,也还是行不通

作为一家技术驱动的创新型公司,技术实力和经验是袋鼠云的生产资料,是立足之本。

但是只有技术,袋鼠云根本无法为客户提供最好的服务。在和新网银行合作的过程中,客户的大规模量的数据、多元创新的业务让袋鼠云的技术有了发挥余地,客户对自身业务的专业积累帮助袋鼠云更快理解银行日志大数据的应用场景,更高效地探索所谓的“数据驱动”。

而对于袋鼠云,除了专业的技术能力外,更重要的,是在和客户的合作中,真正践行“客户第一”的服务理念。探索“数据驱动”,袋鼠云期待和更多的伙伴一起合作,实践。

目前袋鼠云旗下产品均入驻阿里云企业服务第一平台—云市场,共同帮助更多的企业共同完成转型第一步!目前袋鼠云已经服云市场近万人用户群体,同时云市场也为用户提供“不满意退款”、“全程担保交易”、“软件交付全程监管”、“6道关卡筛选优质商家与商品”等四个100%承诺,让用户消费无忧,也是我们给予客户的承诺。

进入店铺,寻找您所需要的商品。

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
1月前
|
运维 监控 安全
在Linux系统中,认证日志
Linux系统中的认证日志对于安全监控和故障排查至关重要,常见的日志文件包括:`/var/log/auth.log`(Debian、Ubuntu)、`/var/log/secure`(RPM发行版)、`/var/log/lastlog`、`/var/log/faillog`、`/var/log/wtmp`和`/var/run/utmp`。这些文件记录登录尝试、失败、当前用户等信息。日志管理可通过文本编辑器、日志查看工具或`rsyslog`、`syslog-ng`等工具进行。注意日志位置可能因发行版和配置差异而变化,应确保日志文件的安全访问,并定期轮转归档以保护敏感信息和节省空间。
26 3
|
2月前
|
运维 监控 数据挖掘
应用研发平台EMAS产品常见问题之将阿里后台的日志落到我们后台失败如何解决
应用研发平台EMAS(Enterprise Mobile Application Service)是阿里云提供的一个全栈移动应用开发平台,集成了应用开发、测试、部署、监控和运营服务;本合集旨在总结EMAS产品在应用开发和运维过程中的常见问题及解决方案,助力开发者和企业高效解决技术难题,加速移动应用的上线和稳定运行。
|
2月前
|
Shell Linux C语言
【Shell 命令集合 网络通讯 】Linux 查看系统中的UUCP日志文件 uulog命令 使用指南
【Shell 命令集合 网络通讯 】Linux 查看系统中的UUCP日志文件 uulog命令 使用指南
32 0
|
3月前
电子书阅读分享《Elasticsearch全观测技术解析与应用(构建日志、指标、APM统一观测平台)》
电子书阅读分享《Elasticsearch全观测技术解析与应用(构建日志、指标、APM统一观测平台)》
236 1
|
2月前
|
Prometheus 监控 Kubernetes
Kubernetes 集群监控与日志管理实践
【2月更文挑战第29天】 在微服务架构日益普及的当下,Kubernetes 已成为容器编排的事实标准。然而,随着集群规模的扩大和业务复杂度的提升,有效的监控和日志管理变得至关重要。本文将探讨构建高效 Kubernetes 集群监控系统的策略,以及实施日志聚合和分析的最佳实践。通过引入如 Prometheus 和 Fluentd 等开源工具,我们旨在为运维专家提供一套完整的解决方案,以保障系统的稳定性和可靠性。
|
5天前
|
存储 运维 大数据
聊聊日志硬扫描,阿里 Log Scan 的设计与实践
泛日志(Log/Trace/Metric)是大数据的重要组成,伴随着每一年业务峰值的新脉冲,日志数据量在快速增长。同时,业务数字化运营、软件可观测性等浪潮又在对日志的存储、计算提出更高的要求。
|
6天前
|
存储 监控 Apache
查询提速11倍、资源节省70%,阿里云数据库内核版 Apache Doris 在网易日志和时序场景的实践
网易的灵犀办公和云信利用 Apache Doris 改进了大规模日志和时序数据处理,取代了 Elasticsearch 和 InfluxDB。Doris 实现了更低的服务器资源消耗和更高的查询性能,相比 Elasticsearch,查询速度提升至少 11 倍,存储资源节省达 70%。Doris 的列式存储、高压缩比和倒排索引等功能,优化了日志和时序数据的存储与分析,降低了存储成本并提高了查询效率。在灵犀办公和云信的实际应用中,Doris 显示出显著的性能优势,成功应对了数据增长带来的挑战。
查询提速11倍、资源节省70%,阿里云数据库内核版 Apache Doris 在网易日志和时序场景的实践
|
13天前
|
监控 Linux 开发者
【专栏】`head`命令是Linux系统中用于快速查看文件开头内容的工具,常用于处理日志文件
【4月更文挑战第28天】`head`命令是Linux系统中用于快速查看文件开头内容的工具,常用于处理日志文件。基本用法包括指定查看行数(如`head -n 10 file.txt`)和与其他命令(如`grep`)结合使用。高级用法涉及动态查看日志、过滤内容、管道操作及在脚本中的应用。实际应用案例包括监控系统日志、排查错误和分析应用日志。使用时注意文件存在性、行数选择及权限问题。熟练掌握head命令能提升工作效率,结合其他工具可实现更多功能,助力Linux用户提升技能。
|
23天前
|
JavaScript Java 测试技术
基于Java的公司员工工作日志办公系统的设计与实现(源码+lw+部署文档+讲解等)
基于Java的公司员工工作日志办公系统的设计与实现(源码+lw+部署文档+讲解等)
141 3
|
1月前
|
运维 Prometheus 监控
Kubernetes 集群的监控与日志管理实践
【4月更文挑战第8天】在微服务架构日益普及的背景下,容器化技术成为支撑快速迭代和部署的关键。其中,Kubernetes 作为容器编排的事实标准,承载着服务的稳定性和扩展性。然而,随着集群规模的扩大,如何有效监控和管理集群状态、确保服务的高可用性成为一个挑战。本文将深入探讨 Kubernetes 集群的监控和日志管理策略,从系统资源利用到服务健康检查,再到日志的收集与分析,提供一个全面的运维视角,帮助运维人员构建一个健壮、可观察的 Kubernetes 环境。
22 0