爬虫识别
搜索引擎与爬虫

爬虫系列:读取文档

上一篇文章我们介绍了如何通过 MySQL 存储 Python 爬虫采集的内容,以及使用Python 与 MySQL 交互,这篇文章我们介绍如何通过 Python 读取文档。

虽然互联网在20世纪60年代末期就已经以不同的形式出现,但是 HTML 直到1992年才问世。在此之前,互联网上基本就是收发邮件传输文件;今天看到的网页概念那时还没有。总之,互联网并不是一个 HTML 页面的集合。他是一个信息集合,而 HTML 文件只是展示信息的一个框架而已。如果我们的爬虫不能读取其他类型的文件,包括纯文本、PDF、图像、视频、邮件等,我们将会失去很大一部分数据。

本篇文章我将详细介绍文档处理的相关内容,包括把文件下载到文件夹里,以及读取文档并提取数据。同时介绍文档不同编码类型,让程序可以读取非英文 HTML 页面。

文档编码

文档编码是一种告诉程序——无论是计算机的操作系统还是 Python 代码——读取文档的规则。文档的编码方式通常可以根据文件的扩展名进行判断,虽然文件扩展名并不是由编码确定的,而是由开发者确定的。例如,如果我把 python_logo.jpg 存储为 python_logo.txt 不会出现任何问题,但当我使用文本编辑器打开的时候就有问题了。这种情况很少见,如果要正确的读取一个文档,必须知道它的扩展名。

从最底层的角度看,所有文档都是由0和1编码而成的。而在高层(贴近用户的层级)编码算法会定义“每个字符多少位”或“每个像素的颜色值用多少位”(图像文件里)之类的事情,在哪里你会遇到一些数据压缩算法或体积缩减算法,比如 PNG 图像编码格式(一种无损压缩的位图图形格式)。

虽然我们第一次处理这些非 HTML 格式的文件会觉得没有任何经验,但是只要安装了合适的库,Python 就可以帮你处理任意类型的文档。纯文本文件、视频文件和图像文件的唯一区别,就是他们的0和1面向用户的转换方式不同。

纯文本

虽然把文件存储为在线的纯文本格式并不常见,但是一些简易的网站,或者有大量纯文本文件的“旧式学术”(old-shcool)网站经常会这么做。例如,互联网工程任务组(Internet Engineering Task Force,IETF)网站就存储了 IETF 发表过的所有文档,包含 HTML、PDF 和纯文本格式(例如 https://datatracker.ietf.org/doc/html/rfc4437.txt)。大多数浏览器都可以很好的显示纯文本文件,采集这些纯文本文件的网站不会遇到什么问题。

下面一个 Python 读取纯文本示例,展示了如何读取 https://image.pdflibr.com/crawler/blog/tencent_cloud_ip_range.txt 地址的纯文本文件。

from requests import Session


class ReadDocument(object):
    def __init__(self):
        self._text_url = 'https://image.pdflibr.com/crawler/blog/tencent_cloud_ip_range.txt'

    def read_text_document(self):
        init_session = Session()
        response = init_session.get(url=self._text_url)
        response.encoding = 'utf-8'
        print(response.text)


if __name__ == '__main__':
    ReadDocument().read_text_document()

这段 Python 代码,我们直接读取文本内容,并对文本从新编码,如果使用原来的编码方式,显示为乱码。一旦纯文本被读取成字符串,你就只能用普通的 Python 字符串方法分析他了。当然这没做有个缺点,就是你不能对字符串使用 HTML 标签,去定位那些你真正需要的文字,避开那些你不需要的文字。如果你现在需要在纯文本里面找到你需要的信息还是有困难的。

文本编码和全球互联网

记得我前面说过,如果你想正确的读取一个文件,知道它的扩展名就可以了。不过非常奇怪的是,这条规则不能应用到最基本的文档格式:.txt 文件。

大多数时候前面的方法读取纯文本文件都没有问题。但是,护粮网上的文本文件会比较复杂。下面介绍一些英文和非英文编码的基础知识,包括 ASCII、Unicode 和 ISO 编码,以及应对的处理方法。

编码类型简介

20世纪90年代,一个叫 Unicode 联盟(The Unicode Consortium)的非盈利组织尝试将地球所有的用于书写的符号经行统一编码。其目标包括拉丁字母、斯拉夫字母、中国象形文字(象形)、数字和逻辑符号,甚至表情和“杂项”(misellaneous)符号,比如生化危机标记(☣)和和平符号(☮)等。

UTF-8(8-bit Unicode Transformation Format) 是一种针对 Unicode 的可变长度字符编码,也是一种前缀码。它可以用一至四个字节对 Unicode 字符集中的所有有效编码点进行编码,属于U nicode 标准的一部分,最初由肯·汤普逊和罗布·派克提出。

一个最常见的错误就是 UTF-8 把所有的字符都存储成8位。其实“8位”显示一个字符所需要的最小位数,而不是最大位数。(如果 UTF-8 的每个字符都是8位,,那一共只能存储2^8个字符,这对于中文和其他字符显然不够。)

真实情况是,UTF-8每个字符开头都有一个标记表示“这个字符只用一个字节”或“那个字符需要两个字节”,一个字符最多可以是四个字节。由于这四个字节里面还包含一部分设置信息,用来决定多少字节用来做字符编码,所以全部的32位(32位=4字节x8位/字节)并不都会用,其实最多使用21位,也就是总共2097152种可能里面可以有1114112个字符。

虽然对很多程序来说,Unicode 都是上帝的礼物(godsend),但是有很多习惯都很难改变, ASCII 依然是许多英文用户的主要选择。

ASCII 是20世纪60年代开始使用的文字编码标准,每个字符7位,一共2^7,即128个字符。这个对于拉丁字母(包括大小写)、标点符号和英文键盘上的所有符号,都是够用的。

在20世纪60年代,存储的文件用7位编码和用8位编码之间的差异是巨大的,因为内存非常昂贵。当时,计算机科学家们为了需要增加一位获得一个漂亮的二进制数(用8位),还是在文件里用更少的位数(7位)费尽心机。最终,7位编码胜利了。但是,在新式计算方式中,每个7位码前面都补充(pad)了一个“0”,留给我们最坏的结果是,文件大了14%(编码由7为变成8位,体积增加了14%),并且由于只有128个字符,缺乏灵活性。

在 UTF-8 设计过程中,设计师决定利用 ASCII 文档里的“填充位”,让所有“0”开头的字节表示这个字符自用1个字节,从而把 ASCII 和 UTF-8 编码完美的结合在一起。因此,下面的字符在 ASCII 和 UTF-8 两种编码方式中都是有效的:

01000001 - A
01000010 - B
01000011 - C

除了 UTF-8,还有其他 UTF 标准,像 UTF-16、UTF-24、UTF-32,不过很少用这些编码标准对文件经行编码,所以在此不做过多介绍。

Python 编码示例

在上面的实例中我们通过 Python 的 requests 库读取了远程的文档内容,但是显示的是乱码,无法阅读,我们对文档内容重新设置编码,使其正常显示,示例如下:

from requests import Session


class ReadDocument(object):
    def __init__(self):
        self._text_url = 'https://image.pdflibr.com/crawler/blog/tencent_cloud_ip_range.txt'

    def read_text_document(self):
        init_session = Session()
        response = init_session.get(url=self._text_url)
        # 显示原来文本的编码方式
        print(response.encoding)
        # 将文本设置成 utf-8 的编码方式
        response.encoding = 'utf-8'
        print(response.text)
        # 显示改变编码后的编码方式
        print(response.encoding)


if __name__ == '__main__':
    ReadDocument().read_text_document()

上面的代码首先打印出了原来文档采用的编码方式,之后将文档重设成 UTF-8 的编码方式,之后再次打印文档内容,再次显示被编码后的文档编码。

你可能打算以后使用网络爬虫全部采用 UTF-8 编码读取内容,毕竟 UTF-8 也可以完美的处理 ASCII 编码。但是,要记住还有9%的网站使用 ISO 编码格式。所以在处理纯文本文档的时候,想用一种编码搞定所有文档是不可能的。有一些库可以检查文档的编码,或是对文档编码经行估计,不过效果并不是很好。

处理 HTML 的时候,网站其实会在 <head> 部分显示页面使用的编码格式。大多数网站,尤其是英文网站,都会带上这样的标签:

<meta http-equiv="Content-Type" content="text/html; charset=utf-8" />

如果你要做很多网络数据采集工作,尤其是面对国际网站时,建议先看看 meta 标签的内容,用网站推荐的方式读取页面内容。

返回顶部