《Python Cookbook(第2版)中文版》——1.25 将HTML文档转化为文本显示到UNIX终端上

简介:

本节书摘来自异步社区《Python Cookbook(第2版)中文版》一书中的第1章,第1.25节,作者[美]Alex Martelli , Anna Martelli Ravenscrof , David Ascher ,高铁军 译,更多章节内容可以访问云栖社区“异步社区”公众号查看。

1.25 将HTML文档转化为文本显示到UNIX终端上

任务

需要将HTML文档中的文本展示在UNIX终端上,同时还要支持粗体和下划线的显示。

解决方案

最简单的方法是写一个过滤的脚本,从标准输入接收HTML,将输出文本和终端控制序列打印到标准的输出上。由于本节的问题只针对UNIX,我们可以借助Python标准库的os模块提供的popen函数,通过UNIX的命令tput获取所需的终端控制序列:

#!/usr/bin/env python
import sys, os, htmllib, formatter
# 使用UNIX的tput来获得粗体、下划线和重设的转义序列
set_bold = os.popen('tput bold').read( )
set_underline = os.popen('tput smul').read( )
perform_reset = os.popen('tput sgr0').read( )
class TtyFormatter(formatter.AbstractFormatter):
     ''' 一个保留粗体和斜体状态的格式化对象,并输出
           相应的终端控制序列
     '''
     def _ _init_ _(self, writer):
           # 首先,像往常一样,初始化超类
           formatter.AbstractFormatter._ _init_ _(self, writer)
           # 一开始既没有粗体也没有斜体状态,未保存任何信息
           self.fontState = False, False
           self.fontStack = [  ]
     def push_font(self, font):
           # font元组有4项,我们只看与粗体和斜体的状态
           # 有关的两个标志
           size, is_italic, is_bold, is_tt = font
           self.fontStack.append((is_italic, is_bold))
           self._updateFontState( )
     def pop_font(self, *args):
           # 回到前一个font状态
           try:
                self.fontStack.pop( )
           except IndexError:
                pass
           self._updateFontState( )
     def updateFontState(self):
           # 输出正确的终端控制序列,如果粗体和/或斜体(==underline)
           # 的状态被刚刚改变的话
           try:
                newState = self.fontStack[-1]
           except IndexError:
                newState = False, False
           if self.fontState != newState:
                # 相关的状态改变:重置终端
                print perform_reset,
                # 如果需要的话,设置下划线与/或粗体状态
                if newState[0]:
                      print set_underline,
                if newState[1]:
                      print set_bold,
                # 记住当前的两个状态
                self.fontState = newState
# 生成写入、格式化、解析对象,根据需要将它们连接起来
myWriter = formatter.DumbWriter( )
if sys.stdout.isatty( ):
       myFormatter = TtyFormatter(myWriter)
else:
       myFormatter = formatter.AbstractFormatter(myWriter)
myParser = htmllib.HTMLParser(myFormatter)
# 将标准输入和终端操作提供给解析器
myParser.feed(sys.stdin.read( ))
myParser.close( )

讨论

Python标准库提供的formatter.AbstractFormatter类,可以在任何场合工作。另一方面,它的子类TtyFormatter提供的一些改良,则主要是为了操纵和使用类UNIX(UNIX-like)终端,具体地说,也就是通过UNIX命令tput获取控制粗体和下划线的转义序列,并将终端重置为基本状态。

很多系统并没有通过UNIX认证,比如Linux和Mac OS X,但它们也提供了一个可用的tput命令,因此本节的TtyFormatter子类在这样的系统中仍然可以正常工作。或者这么说,可以用更宽泛的眼光来看待本节提及的“UNIX”,就好像我们在一些其他讨论中所用的“UNIX”概念:如果你愿意,可以认为它指的是“*ix”。

如果你的“终端”模拟器支持其他的一些控制输出表现的转义序列,也可以根据情况修改TtyFormatter类。比如,据说在Windows中,cmd.exe命令能够支持所有标准的ANSI转义序列,所以如果你只想在Windows上运行你的脚本,可以用硬编码的方式在类中写入那些序列。

很多时候,你可能会更喜欢用UNIX已经提供的命令,比如lynx -dump -,相比于本节方案中提供的方法,这些命令能够提供更丰富更具表现力的输出。但有时你会发现Python安装在一个不提供这种有用的命令(如lynx)的系统上,那么本节给出的方法就显得很方便和简洁了。

相关文章
|
15天前
|
机器学习/深度学习 自然语言处理 数据可视化
数据代码分享|PYTHON用NLP自然语言处理LSTM神经网络TWITTER推特灾难文本数据、词云可视化
数据代码分享|PYTHON用NLP自然语言处理LSTM神经网络TWITTER推特灾难文本数据、词云可视化
|
1天前
|
XML 前端开发 数据格式
BeautifulSoup 是一个 Python 库,用于从 HTML 和 XML 文件中提取数据
BeautifulSoup 是 Python 的一个库,用于解析 HTML 和 XML 文件,即使在格式不规范的情况下也能有效工作。通过创建 BeautifulSoup 对象并使用方法如 find_all 和 get,可以方便地提取和查找文档中的信息。以下是一段示例代码,展示如何安装库、解析 HTML 数据以及打印段落、链接和特定类名的元素。BeautifulSoup 还支持更复杂的查询和文档修改功能。
7 1
|
2天前
|
机器学习/深度学习 自然语言处理 算法
Gensim详细介绍和使用:一个Python文本建模库
Gensim详细介绍和使用:一个Python文本建模库
11 1
|
3天前
|
前端开发 文件存储 Python
python之xhtml2pdf: HTML转PDF工具示例详解
python之xhtml2pdf: HTML转PDF工具示例详解
7 0
|
3天前
|
数据采集 数据挖掘 Python
Python之html2text: 将HTML转换为Markdown 文档示例详解
Python之html2text: 将HTML转换为Markdown 文档示例详解
5 0
|
3天前
|
数据采集 Python
Python HTML解析详解
Python HTML解析详解
6 0
|
5天前
|
Shell 测试技术 Python
在Mac上用Python调用终端执行命令
在Mac上用Python调用终端执行命令
9 1
|
11天前
|
机器学习/深度学习 自然语言处理 算法
【Python机器学习专栏】文本数据的特征提取与表示
【4月更文挑战第30天】本文探讨了文本特征提取与表示在机器学习和NLP中的重要性。介绍了词袋模型、TF-IDF和n-gram等特征提取方法,以及稀疏向量和词嵌入等表示方式。Python中可利用sklearn和gensim库实现这些技术。有效的特征提取与表示有助于将文本数据转化为可处理的数值形式,推动NLP和机器学习领域的进步。
|
12天前
|
JavaScript 前端开发
JavaScript DOM 文档对象模型(获取、改变html元素)
JavaScript DOM 文档对象模型(获取、改变html元素)
|
15天前
|
数据采集 机器学习/深度学习 人工智能
Python实现文本情感分析
Python实现文本情感分析
20 1