《Python自动化运维:技术与最佳实践》一3.1 数据报表之Excel操作模块

简介:

本节书摘来自华章出版社《Python自动化运维:技术与最佳实践》一书中的第3章,第3.1节,作者 (美)Neil Bergman ,更多章节内容可以访问云栖社区“华章计算机”公众号查看

3.1 数据报表之Excel操作模块

Excel是当今最流行的电子表格处理软件,支持丰富的计算函数及图表,在系统运营方面广泛用于运营数据报表,比如业务质量、资源利用、安全扫描等报表,同时也是应用系统常见的文件导出格式,以便数据使用人员做进一步加工处理。本节主要讲述利用Python操作Excel的模块XlsxWriter(https://xlsxwriter.readthedocs.org),可以操作多个工作表的文字、数字、公式、图表等。XlsxWriter模块具有以下功能:
100%兼容的Excel XLSX文件,支持Excel 2003、Excel 2007等版本;
支持所有Excel单元格数据格式;
单元格合并、批注、自动筛选、丰富多格式字符串等;
支持工作表PNG、JPEG图像,自定义图表;
内存优化模式支持写入大文件。
XlsxWriter模块的安装方法如下:

# pip install XlsxWriter    #pip安装方法
# easy_install XlsxWriter    #easy_install安装方法

#源码安装方法
# curl -O -L http://github.com/jmcnamara/XlsxWriter/archive/master.tar.gz
# tar zxvf master.tar.gz
# cd XlsxWriter-master/
# sudo python setup.py install

下面通过一个简单的功能演示示例,实现插入文字(中英字符)、数字(求和计算)、图片、单元格格式等,代码如下:
【/home/test/XlsxWriter/simple1.py】

#coding: utf-8
import xlsxwriter

workbook = xlsxwriter.Workbook('demo1.xlsx')    #创建一个Excel文件
worksheet = workbook.add_worksheet()    #创建一个工作表对象

worksheet.set_column('A:A', 20)    #设定第一列(A)宽度为20像素
bold = workbook.add_format({'bold': True})    #定义一个加粗的格式对象

worksheet.write('A1', 'Hello')    #A1单元格写入'Hello'
worksheet.write('A2', 'World', bold)    #A2单元格写入'World'并引用加粗格式对象bold
worksheet.write('B2', u'中文测试', bold)    #B2单元格写入中文并引用加粗格式对象bold

worksheet.write(2, 0, 32)    #用行列表示法写入数字'32'与'35.5'
worksheet.write(3, 0, 35.5)    #行列表示法的单元格下标以0作为起始值,'3,0'等价于'A3'
worksheet.write(4, 0, '=SUM(A3:A4)')    #求A3:A4的和,并将结果写入'4,0',即'A5'

worksheet.insert_image('B5', 'img/python-logo.png')    #在B5单元格插入图片
workbook.close()    #关闭Excel文件

程序生成的demo1.xlsx文档截图如图3-1所示。

image

3.1.1 模块常用方法说明

  1. Workbook类
    Workbook类定义:Workbook(filename[, options]),该类实现创建一个XlsxWriter的Workbook对象。Workbook类代表整个电子表格文件,并且存储在磁盘上。参数filename(String类型)为创建的Excel文件存储路径;参数options(Dict类型)为可选的Workbook参数,一般作为初始化工作表内容格式,例如值为{'strings_to_numbers': True}表示使用worksheet.write()方法时激活字符串转换数字。

add_worksheet([sheetname])方法,作用是添加一个新的工作表,参数sheetname(String类型)为可选的工作表名称,默认为Sheet1。例如,下面的代码对应的效果图如图3-2所示。

worksheet1 = workbook.add_worksheet()             # Sheet1
worksheet2 = workbook.add_worksheet('Foglio2')    # Foglio2
worksheet3 = workbook.add_worksheet('Data')       # Data
worksheet4 = workbook.add_worksheet()             # Sheet4

image

add_format([properties])方法,作用是在工作表中创建一个新的格式对象来格式化单元格。参数properties(dict类型)为指定一个格式属性的字典,例如设置一个加粗的格式对象,workbook.add_format({'bold': True})。通过Format methods(格式化方法)也可以实现格式的设置,等价的设置加粗格式代码如下:

bold = workbook.add_format()
bold.set_bold()

更多格式化方法见http://xlsxwriter.readthedocs.org/working_with_formats.html
add_chart(options)方法,作用是在工作表中创建一个图表对象,内部是通过insert_chart()方法来实现,参数options(dict类型)为图表指定一个字典属性,例如设置一个线条类型的图表对象,代码为chart = workbook.add_chart({'type': 'line'})。
close()方法,作用是关闭工作表文件,如workbook.close()。

  1. Worksheet类
    Worksheet类代表了一个Excel工作表,是XlsxWriter模块操作Excel内容最核心的一个类,例如将数据写入单元格或工作表格式布局等。Worksheet对象不能直接实例化,取而代之的是通过Workbook对象调用add_worksheet()方法来创建。Worksheet类提供了非常丰富的操作Excel内容的方法,其中几个常用的方法如下:

write(row, col, args)方法,作用是写普通数据到工作表的单元格,参数row为行坐标,col为列坐标,坐标索引起始值为0;args无名字参数为数据内容,可以为数字、公式、字符串或格式对象。为了简化不同数据类型的写入过程,write方法已经作为其他更加具体数据类型方法的别名,包括:
write_string() 写入字符串类型数据,如:

worksheet.write_string(0, 0, 'Your text here');

write_number() 写入数字类型数据,如:

worksheet.write_number('A2', 2.3451);

write_blank() 写入空类型数据,如:

worksheet.write('A2', None);

write_formula() 写入公式类型数据,如:

worksheet.write_formula(2, 0, '=SUM(B1:B5)');

write_datetime() 写入日期类型数据,如:

worksheet.write_datetime(7, 0,datetime.datetime.strptime('2013-01-23', '%Y-%m-%d'),workbook.add_format({'num_format': 'yyyy-mm-dd'}));

write_boolean() 写入逻辑类型数据,如:

worksheet.write_boolean(0, 0, True);

write_url() 写入超链接类型数据,如:

worksheet.write_url('A1', 'ftp://www.python.org/')。

下列通过具体的示例来观察别名write方法与数据类型方法的对应关系,代码如下:

worksheet.write(0, 0, 'Hello')          # write_string()
worksheet.write(1, 0, 'World')          # write_string()
worksheet.write(2, 0, 2)                # write_number()
worksheet.write(3, 0, 3.00001)          # write_number()
worksheet.write(4, 0, '=SIN(PI()/4)')   # write_formula()
worksheet.write(5, 0, '')               # write_blank()
worksheet.write(6, 0, None)             # write_blank()

上述示例将创建一个如图3-3所示的工作表。

image

set_row(row, height, cell_format, options)方法,作用是设置行单元格的属性。参数row(int类型)指定行位置,起始下标为0;参数height(float类型)设置行高,单位像素;参数cell_format(format类型)指定格式对象;参数options(dict类型)设置行hidden(隐藏)、level(组合分级)、collapsed(折叠)。操作示例如下:

worksheet.write('A1', 'Hello')     #在A1单元格写入'Hellow'字符串
cell_format = workbook.add_format({'bold': True})    #定义一个加粗的格式对象
worksheet.set_row(0, 40, cell_format)    #设置第1行单元格高度为40像素,且引用加粗
                                         #格式对象
worksheet.set_row(1, None, None, {'hidden': True})    #隐藏第2行单元格

上述示例将创建一个如图3-4所示的工作表。

image

set_column(first_col, last_col, width, cell_format, options)方法,作用为设置一列或多列单元格属性。参数first_col(int类型)指定开始列位置,起始下标为0;参数last_col(int类型)指定结束列位置,起始下标为0,可以设置成与first_col一样;参数width(float类型)设置列宽;参数cell_format(Format类型)指定格式对象;参数options(dict类型)设置行hidden(隐藏)、level(组合分级)、collapsed(折叠)。操作示例如下:

worksheet.write('A1', 'Hello')     #在A1单元格写入'Hello'字符串
worksheet.write('B1', 'World')     #在B1单元格写入'World'字符串
cell_format = workbook.add_format({'bold': True})    #定义一个加粗的格式对象
                                   #设置0到1即(A到B) 列单元格宽度为10像素,
                                    且引用加粗格式对象
worksheet.set_column(0,1, 10,cell_format)
worksheet.set_column('C:D', 20)    #设置C到D列单元格宽度为20像素
worksheet.set_column('E:G', None, None, {'hidden': 1})    #隐藏E到G列单元格

上述示例将创建一个如图3-5所示的工作表。
insert_image(row, col, image[, options])方法,作用是插入图片到指定单元格,支持PNG、JPEG、BMP等图片格式。参数row为行坐标,col为列坐标,坐标索引起始值为0;参数image(string类型)为图片路径;参数options(dict类型)为可选参数,作用是指定图片的位置、比例、链接URL等信息。操作示例如下:

#在B5单元格插入python-logo.png图片,图片超级链接为http://python.org
worksheet.insert_image('B5', 'img/python-logo.png', {'url': 'http://python.org'})

上述示例将创建一个如图3-6所示的工作表。

image

image

  1. Chart类
    Chart类实现在XlsxWriter模块中图表组件的基类,支持的图表类型包括面积、条形图、柱形图、折线图、饼图、散点图、股票和雷达等,一个图表对象是通过Workbook(工作簿)的add_chart方法创建,通过{type, '图表类型'}字典参数指定图表的类型,语句如下:
chart = workbook.add_chart({type, 'column'})    #创建一个column(柱形)图表

更多图表类型说明:
area:创建一个面积样式的图表;
bar:创建一个条形样式的图表;
column:创建一个柱形样式的图表;
line:创建一个线条样式的图表;
pie:创建一个饼图样式的图表;
scatter:创建一个散点样式的图表;
stock:创建一个股票样式的图表;
radar:创建一个雷达样式的图表。
然后再通过Worksheet(工作表)的insert_chart()方法插入到指定位置,语句如下:

worksheet.insert_chart('A7', chart)    #在A7单元格插入图表

下面介绍chart类的几个常用方法。
chart.add_series (options)方法,作用为添加一个数据系列到图表,参数options (dict类型)设置图表系列选项的字典,操作示例如下:

chart.add_series({
    'categories': '=Sheet1!$A$1:$A$5',
    'values':     '=Sheet1!$B$1:$B$5',
    'line':       {'color': 'red'},
})

add_series方法最常用的三个选项为categories、values、line,其中categories作为是设置图表类别标签范围;values为设置图表数据范围;line为设置图表线条属性,包括颜色、宽度等。
其他常用方法及示例。
set_x_axis(options)方法,设置图表X轴选项,示例代码如下,效果图如图3-7所示。

chart.set_x_axis({
    'name': 'Earnings per Quarter',    #设置X轴标题名称
    'name_font': {'size': 14, 'bold': True},  #设置X轴标题字体属性
    'num_font':  {'italic': True },    #设置X轴数字字体属性
})

image

set_size(options)方法,设置图表大小,如chart.set_size({'width': 720, 'height': 576}),其中width为宽度,height为高度。
set_title(options)方法,设置图表标题,如chart.set_title({'name': 'Year End Results'}),效果图如图3-8所示。

image
set_style(style_id)方法,设置图表样式,style_id为不同数字则代表不同样式,如chart.set_style(37),效果图如图3-9所示。

image

set_table(options)方法,设置X轴为数据表格形式,如chart.set_table(),效果图如图3-10所示。

image

3.1.2 实践:定制自动化业务流量报表周报

本次实践通过定制网站5个频道的流量报表周报,通过XlsxWriter模块将流量数据写入Excel文档,同时自动计算各频道周平均流量,再生成数据图表。具体是通过workbook.add_chart({'type': 'column'})方法指定图表类型为柱形,使用write_row、write_column方法分别以行、列方式写入数据,使用add_format()方法定制表头、表体的显示风格,使用add_series()方法将数据添加到图表,同时使用chart.set_size、set_title、set_y_axis设置图表的大小及标题属性,最后通过insert_chart方法将图表插入工作表中。我们可以结合2.3节的内容来实现周报的邮件推送,本示例略去此功能。实现的代码如下:
【/home/test/XlsxWriter/simple2.py】

#coding: utf-8
import xlsxwriter

workbook = xlsxwriter.Workbook('chart.xlsx')    #创建一个Excel文件
worksheet = workbook.add_worksheet()    #创建一个工作表对象
chart = workbook.add_chart({'type': 'column'})    #创建一个图表对象
#定义数据表头列表
title = [u'业务名称',u'星期一',u'星期二',u'星期三',u'星期四',u'星期五',u'星期六',u'星期日',u'平均流量']
buname= [u'业务官网',u'新闻中心',u'购物频道',u'体育频道',u'亲子频道']    #定义频道名称
#定义5频道一周7天流量数据列表
data = [
    [150,152,158,149,155,145,148],
    [89,88,95,93,98,100,99],
    [201,200,198,175,170,198,195],
    [75,77,78,78,74,70,79],
    [88,85,87,90,93,88,84],
]
format=workbook.add_format()    #定义format格式对象
format.set_border(1)    #定义format对象单元格边框加粗(1像素)的格式

format_title=workbook.add_format()    #定义format_title格式对象
format_title.set_border(1)   #定义format_title对象单元格边框加粗(1像素)的格式
format_title.set_bg_color('#cccccc')   #定义format_title对象单元格背景颜色为
                                       #'#cccccc'的格式
format_title.set_align('center')    #定义format_title对象单元格居中对齐的格式
format_title.set_bold()    #定义format_title对象单元格内容加粗的格式

format_ave=workbook.add_format()    #定义format_ave格式对象
format_ave.set_border(1)    #定义format_ave对象单元格边框加粗(1像素)的格式
format_ave.set_num_format('0.00')   #定义format_ave对象单元格数字类别显示格式

#下面分别以行或列写入方式将标题、业务名称、流量数据写入起初单元格,同时引用不同格式对象
worksheet.write_row('A1',title,format_title)  
worksheet.write_column('A2', buname,format)
worksheet.write_row('B2', data[0],format)
worksheet.write_row('B3', data[1],format)
worksheet.write_row('B4', data[2],format)
worksheet.write_row('B5', data[3],format)
worksheet.write_row('B6', data[4],format)

#定义图表数据系列函数
def chart_series(cur_row):
    worksheet.write_formula('I'+cur_row, \
     '=AVERAGE(B'+cur_row+':H'+cur_row+')',format_ave)    #计算(AVERAGE函数)频
                                                          #道周平均流量
    chart.add_series({
        'categories': '=Sheet1!$B$1:$H$1',    #将“星期一至星期日”作为图表数据标签(X轴)
        'values':     '=Sheet1!$B$'+cur_row+':$H$'+cur_row,    #频道一周所有数据作
                                                               #为数据区域
        'line':       {'color': 'black'},    #线条颜色定义为black(黑色)
        'name': '=Sheet1!$A$'+cur_row,    #引用业务名称为图例项
    })

for row in range(2, 7):    #数据域以第2~6行进行图表数据系列函数调用
    chart_series(str(row))

#chart.set_table()    #设置X轴表格格式,本示例不启用
#chart.set_style(30)    #设置图表样式,本示例不启用
chart.set_size({'width': 577, 'height': 287})    #设置图表大小
chart.set_title ({'name': u'业务流量周报图表'})    #设置图表(上方)大标题
chart.set_y_axis({'name': 'Mb/s'})    #设置y轴(左侧)小标题

worksheet.insert_chart('A8', chart)    #在A8单元格插入图表
workbook.close()    #关闭Excel文档

上述示例将创建一个如图3-11所示的工作表。

image

相关文章
|
22天前
|
监控 数据处理 索引
使用Python批量实现文件夹下所有Excel文件的第二张表合并
使用Python和pandas批量合并文件夹中所有Excel文件的第二张表,通过os库遍历文件,pandas的read_excel读取表,concat函数合并数据。主要步骤包括:1) 遍历获取Excel文件,2) 读取第二张表,3) 合并所有表格,最后将结果保存为新的Excel文件。注意文件路径、表格结构一致性及异常处理。可扩展为动态指定合并表、优化性能、日志记录等功能。适合数据处理初学者提升自动化处理技能。
20 1
|
23天前
|
Java Apache
EasyPOI操作Excel从零入门
我们不造轮子,只是轮子的搬运工。(其实最好是造轮子,造比别人好的轮子)开发中经常会遇到excel的处理,导入导出解析等等,java中比较流行的用poi,但是每次都要写大段工具类来搞定这事儿,此处推荐一个别人造好的轮子,EasyPOI封装了Apache的POI技术,实现了基本的Excel导入、导出从此不再为Excel操作头疼~
18 2
EasyPOI操作Excel从零入门
|
28天前
|
存储 BI 数据处理
Python自动化 | 解锁高效办公利器,Python助您轻松驾驭Excel!
Python自动化 | 解锁高效办公利器,Python助您轻松驾驭Excel!
|
28天前
|
数据处理 Python
Python教程:生成Excel并更改表头
Python教程:生成Excel并更改表头
23 0
|
13天前
|
人工智能 数据可视化 机器人
【办公自动化】Excel透视表的简单应用
【办公自动化】Excel透视表的简单应用
|
22天前
|
数据采集 存储 Web App开发
一键实现数据采集和存储:Python爬虫、Pandas和Excel的应用技巧
一键实现数据采集和存储:Python爬虫、Pandas和Excel的应用技巧
|
1月前
|
存储 数据处理 Python
使用Python批量合并Excel文件的所有Sheet数据
使用Python批量合并Excel文件的所有Sheet数据
25 0
|
1月前
|
存储 数据处理 Python
用Python实现Excel中的Vlookup功能
用Python实现Excel中的Vlookup功能
16 0
|
1月前
|
数据处理 Python
4种方法用Python批量实现多Excel多Sheet合并
4种方法用Python批量实现多Excel多Sheet合并
24 0
|
1月前
|
存储 数据可视化 数据处理
利用python将Excel文件拆分为多个CSV
利用python将Excel文件拆分为多个CSV
26 0