《Splunk智能运维实战》——1.7 为本书加载样本数据

简介:

本节书摘来自华章计算机《Splunk智能运维实战》一书中的第1章,第1.7节,作者 [美]乔史·戴昆(Josh Diakun),保罗R.约翰逊(Paul R. Johnson),德莱克·默克(Derek Mock),译 宫鑫,康宁,刘法宗 ,更多章节内容可以访问云栖社区“华章计算机”公众号查看。

1.7 为本书加载样本数据

Splunk索引的数据大部分都是实时接收的,但在一些情况下,我们想向Splunk导入一组数据,以便回填缺失丢失或不完整的数据,或者仅仅利用Splunk的搜索和报表工具。

本节将学习如何在Splunk服务器上一次性批量加载本地数据。我们将加载样本数据,并在随后的章节使用它来构建Splunk智能运维应用程序。

样本数据由两个文件组成。第一个文件是access_log,它代表Web层的数据,模拟的是Apache Web服务器。第二个文件是app_log,它代表应用程序层的数据,模拟的是log4j应用程序日志数据。

做好准备

要想进行本节操作,需运行Splunk服务器并准备本书的样本数据生成应用程序(OpsDataGen.spl)。

如何操作

按照下列步骤上传样本数据生成器至系统:

1 . 使用证书登录Splunk服务器。

2 . 从主启动器选择左上角的“应用程序”菜单,并单击“管理应用程序”。
screenshot

3 . 选择“从文件安装应用程序”。
screenshot

4 . 选择计算机上OpsDataGen.spl文件的位置,并单击“上传”按钮安装该应用程序。
screenshot

5 . 安装后,页面顶部会出现蓝条信息,显示应用程序安装成功。在应用程序列表中已显示OpsDataGen app。
screenshot

6 . 应用程序安装后,数据生成脚本默认是关闭的。要生成数据,根据运行Splunk的操作系统不同,需要激活Windows或Linux脚本。从屏幕右上角选择“设定”菜单,再选择“数据输入”。
screenshot

7 . 在“数据输入”界面,选择“脚本”。

8 . 在“脚本”界面,根据不同操作系统找到相应的OpsDataGen脚本,并单击“激活”。

  • Linux系统中,脚本是 $SPLUNK_HOME/etc/apps/OpsDataGen/bin/ AppGen.path
  • Windows系统中,脚本是 $SPLUNK_HOMEetcappsOpsDataGenbin AppGen-win.path

如下截屏展示了Windows和Linux系统安装OpsDataGen应用程序后,脚本输入被激活的情况及如何根据不同操作系统来正确地激活脚本。
screenshot

9 . 选择屏幕右上角的“设定”菜单,之后选择“数据输入”,再选择“文件和目录”。

10 . 在“文件和目录”界面,根据不同操作系统找到OpsDataGen输入,并点击“激活”。

  • Linux系统中,选择:
    screenshot
  • Windows系统中,选择:
    screenshot

如下截屏展示了Windows和Linux系统安装OpsDataGen应用程序后,脚本输入被激活的情况及如何根据不同操作系统来正确地激活脚本。
screenshot

11 . 数据现在会实时生成。可以进行测试,回到Splunk搜索页面并运行下列搜索,时间范围设为“全部时间(实时)”:
screenshot

马上能看到导入到Splunk中的两个源类型的数据,而且数据生成器已经如截屏所示开始工作。
screenshot

工作原理

在本例中,安装的Splunk应用程序利用了脚本输入。我们编写的脚本生成两种源类型的数据。access_combined源类型包含简单的Web访问日志样本,log4j源类型包含应用程序日志。这些数据源将用于本书之后的章节。随后也会详细讨论应用程序。

另参见

screenshot

相关文章
|
19天前
|
机器学习/深度学习 运维 监控
智能监控系统在运维中的应用与优势
传统的运维管理方式在面对日益复杂的IT系统时显得力不从心,智能监控系统的出现为运维工作带来了新的机遇。本文将探讨智能监控系统在运维中的应用与优势,介绍其工作原理以及如何有效地利用智能监控系统提升运维效率和质量。
33 2
|
30天前
|
运维 安全 数据安全/隐私保护
课1-数据可信流通,从运维信任到技术信任
构建数据可信流通体系,关键在于建立技术信任。该体系基于信任四要素:身份确认、利益依赖、能力预期及行为后果。数据内循环时,持有方负责数据安全;外循环则面临责任主体不清等问题。为实现可信流通,需由运维信任转向技术信任,依托密码学和可信计算技术,并遵循数据二十条政策。技术手段包括可信应用身份、使用权跨域管控、安全分级标准和全链路审计,确保内外循环的数据管控。基础设施——密态天空计算,支持以隐私计算为核心的密态数联网,实现责任界定的全链路数据安全。
|
1月前
|
存储 运维 安全
2024.3.18隐语训练营第1讲笔记:数据可信流通,从运维信任到技术信任
数据二十条提出了要建立数据可信流通体系,使得数据可以安全的流转起来。但由于在数据流通中存在的各种风险,使得信任四要素全部遭到破坏,导致信任降级甚至崩塌。为了应对这些风险,要实现从运维信任到技术信任的转变,针对信任的各个要素,提出了解决方案。最后简要介绍了安全可信基础设施的融合布局。
43 3
|
1月前
|
存储 运维 安全
2024-3-18隐语学习笔记:数据可信流通,从运维信任到技术信任
数据要素可信流通,重构技术信任体系。信任四要素:身份可确认,利益可依赖,能力有预期,行为有后果。外循环中四要素遭到破坏,导致信任降级甚至崩塌:责任主体不清,能力参差不齐,利益诉求不一致,责任链路难追溯。数据可信流通 需要从运维信任走向技术信任。
|
1月前
|
运维 安全 数据安全/隐私保护
|
30天前
|
机器学习/深度学习 人工智能 运维
《未来智能运维:AI技术的应用与展望》
在当今数字化时代,智能运维正日益成为企业提升效率、降低成本的关键。本文将探讨人工智能技术在运维领域的应用现状与未来发展趋势,展望未来智能运维的发展前景。
47 1
|
24天前
|
机器学习/深度学习 存储 人工智能
未来智能运维的发展趋势与挑战
随着信息技术的迅猛发展,智能运维作为关键的技术领域正日益受到重视。本文探讨了未来智能运维的发展趋势和所面临的挑战,从人工智能、自动化运维、数据分析等方面展望了未来智能运维的发展方向,同时也指出了在实践中需要克服的困难和挑战。
34 1
|
26天前
|
机器学习/深度学习 数据采集 运维
《智能监控系统在运维中的应用与优势》
随着技术的发展,智能监控系统在运维领域扮演着越来越重要的角色。本文将探讨智能监控系统在运维中的应用及其带来的优势,揭示其对于提升运维效率和保障系统稳定性的重要意义。
10 0
|
1月前
|
机器学习/深度学习 人工智能 运维
现代化运维管理:智能化的未来
随着信息技术的迅猛发展,现代化运维管理正变得日益重要。本文将探讨智能化运维管理的发展趋势,以及如何利用先进技术提升运维效率和质量。