system-design-primer/solutions/system_design/web_crawler/README-zh-Hans.md

# 设计一个网页爬虫

**Note: 为了避免重复，当前文档直接链接到[系统设计主题](https://github.com/donnemartin/system-design-primer/blob/master/README-zh-Hans.md#系统设计主题的索引)的相关区域，请参考链接内容以获得综合的讨论点、权衡和替代方案。**

## 第一步：概述用例和约束

> 收集这个问题的需求和范畴。
> 问相关问题来明确用例和约束。
> 讨论一些假设。

因为没有面试官来明确这些问题，所以我们自己将定义一些用例和约束。

### 用例

#### 我们将问题的范畴限定在如下用例

* **服务** 爬取一个 url 列表：
  * 为包含搜索项的页面生成单词的反向索引
  * 生成页面的标题和摘要
    * 标题和摘要是静态的，它们不会根据搜索查询进行更改
* **用户** 输入搜索词并查看包含爬网程序生成的标题和摘要的相关页面列表
  * 仅为此用例绘制高级组件和交互，无需深入研究
* **服务** 需要高可用

#### 超出范畴的用例

* 搜索分析
* 个性化搜索结果
* 网页排名

### 约束和假设

#### 状态假设

* 流量不是均匀分布的
  * 有些搜索非常频繁，而其他搜索只执行一次
* 仅支持匿名用户
* 应该很快生成搜索结果
* 网页爬虫不应该陷入无限循环
  * 如果图形包含循环，我们会陷入无限循环
* 10 亿个链接爬取
  * 需要定期爬取页面以确保新鲜度
  * 平均刷新率约为每周一次，对于热门网站更为频繁
    * 每月爬取 40 亿个链接
  * 每个网页的平均存储大小：500 KB
    * 为简单起见，计数更改与新页面相同
* 每月 1000 亿次搜索

使用更传统的系统 - 不要使用 [solr](http://lucene.apache.org/solr/) 或 [nutch](http://nutch.apache.org/) 等现有系统。

#### 计算使用

**如果您应该运行背信息使用计算，请与您的面试官澄清。**

* 每个月存储页面内容 2 PB
  * 每个页面 500 KB * 每个月爬取 40 亿个链接
  * 在3年内存储的页面内容为 72 PB
* 每秒 1,600 次写请求
* 每秒 40,000 次搜索请求

方便的转换指南：

* 每月 250 万秒
* 每秒1个请求=每月 250 万个请求
* 每秒40个请求=每月 1 亿个请求
* 每秒400个请求=每月 10 亿个请求

## 第二步：创建一个高层次设计

> 概述一个包括所有重要的组件的高层次设计

![Imgur](http://i.imgur.com/xjdAAUv.png)

## 第三步：设计核心组件

> 深入每一个核心组件的细节

### 用例：服务爬取一个网址列表

假设我们有一个最初根据整体网站流行度排名的 `links_to_crawl` 列表。 如果这不是一个合理的假设，我们可以使用链接到外部内容（如 [Yahoo](https://www.yahoo.com/)，[DMOZ](http://www.dmoz.org/) 等）的热门网站为爬虫播种。

我们将使用表 `crawled_links` 来存储已处理的链接及其页面签名。

我们可以将 `links_to_crawl` 和 `crawled_links` 存储在键值 **NoSQL Database** 中。 对于 `links_to_crawl` 中的排名链接，我们可以使用 [Redis](https://redis.io/) 和排序集来维护页面链接的排名。我们应该讨论[选择 SQL 或 NoSQL 之间的用例和权衡](https://github.com/donnemartin/system-design-primer#sql-or-nosql)。

* **爬虫服务**通过下面的循环处理每一个页面链接：
  * 采用排名靠前的页面链接进行爬取
    * 检查 **NoSQL Database** 中的 `crawled_links` 以获取具有类似页签名的条目
      * 如果我们有类似的页面，则降低页面链接的优先级
        * 这可以防止我们进入一个循环
        * 继续执行
      * 否则, 爬取这个链接
        * 将一个任务添加到**反向索引服务**队列以生成[反向索引](https://en.wikipedia.org/wiki/Search_engine_indexing)
        * 将一个任务添加到**文档服务**队列以生成一个静态标题和摘要
        * 生成页面的签名
        * 把这个链接从 **NoSQL Database** 中的 `links_to_crawl` 删除
        * 将页面链接和签名插入 **NoSQL Database** 中的 `crawled_links`

**向面试官阐明你需要写多少代码**

`PagesDataStore` 是**爬虫服务**中使用 **NoSQL Database** 的抽象：

```python
class PagesDataStore(object):

    def __init__(self, db);
        self.db = db
        ...

    def add_link_to_crawl(self, url):
        """Add the given link to `links_to_crawl`."""
        ...

    def remove_link_to_crawl(self, url):
        """Remove the given link from `links_to_crawl`."""
        ...

    def reduce_priority_link_to_crawl(self, url):
        """Reduce the priority of a link in `links_to_crawl` to avoid cycles."""
        ...

    def extract_max_priority_page(self):
        """Return the highest priority link in `links_to_crawl`."""
        ...

    def insert_crawled_link(self, url, signature):
        """Add the given link to `crawled_links`."""
        ...

    def crawled_similar(self, signature):
        """Determine if we've already crawled a page matching the given signature"""
        ...
```

`Page` 是**爬虫服务**中的一个抽象，它封装了一个页面，以及它的内容，子URL和签名：

```python
class Page(object):

    def __init__(self, url, contents, child_urls, signature):
        self.url = url
        self.contents = contents
        self.child_urls = child_urls
        self.signature = signature
```

`Crawler` 是**爬虫服务**中的主要类，由 `Page` 和 `PagesDataStore` 组成。

```python
class Crawler(object):

    def __init__(self, data_store, reverse_index_queue, doc_index_queue):
        self.data_store = data_store
        self.reverse_index_queue = reverse_index_queue
        self.doc_index_queue = doc_index_queue

    def create_signature(self, page):
        """Create signature based on url and contents."""
        ...

    def crawl_page(self, page):
        for url in page.child_urls:
            self.data_store.add_link_to_crawl(url)
        page.signature = self.create_signature(page)
        self.data_store.remove_link_to_crawl(page.url)
        self.data_store.insert_crawled_link(page.url, page.signature)

    def crawl(self):
        while True:
            page = self.data_store.extract_max_priority_page()
            if page is None:
                break
            if self.data_store.crawled_similar(page.signature):
                self.data_store.reduce_priority_link_to_crawl(page.url)
            else:
                self.crawl_page(page)
```

### 处理重复

我们需要注意网络爬虫不会陷入无限循环，这会在当图形包含一个循环时发生。

**向面试官阐明你需要写多少代码**

我们要删除重复的网址：

* 对于较小的列表，我们可以使用类似排序的 `sort | unique`
* 有 10 亿个链接爬取，我们可以使用 **MapReduce** 来只输出频率为 1 的条目

```python
class RemoveDuplicateUrls(MRJob):

    def mapper(self, _, line):
        yield line, 1

    def reducer(self, key, values):
        total = sum(values)
        if total == 1:
            yield key, total
```

检测重复内容更复杂。 我们可以根据页面内容生成签名，并比较这两个签名的相似性。 一些潜在的算法是 [雅克卡指数](https://en.wikipedia.org/wiki/Jaccard_index) 和[余弦相似度](https://en.wikipedia.org/wiki/Cosine_similarity)。

### 确定何时更新爬取结果

需要定期爬取页面以确保新鲜度。 爬取结果可能有一个 `timestamp` 字段，表示爬取页面的最后时间。 在默认时间段（例如一周）之后，应刷新所有页面。 经常更新或更受欢迎的网站可以在较短的时间间隔内刷新。

虽然我们不会深入研究分析的细节，但我们可以进行一些数据挖掘以确定特定页面更新之前的平均时间，并使用该统计信息来确定重新爬取页面的频率。

我们也可能选择支持一个 `Robots.txt` 文件，该文件可让网站管理员控制爬取频率。

### 用例：用户输入搜索词并查看带有标题和摘要的相关页面列表

* **客户端**发送一个请求到作为一个[反向代理](https://github.com/donnemartin/system-design-primer/blob/master/README-zh-Hans.md#反向代理web-服务器)启动的 **Web 服务器**
* **Web 服务器** 转发请求给 **查询接口** 服务器
* **查询接口** 服务器执行如下操作：
  * 解析这个查询
    * 删除标记
    * 将文本分解为术语
    * 处理拼写错误
    * 规范化大写
    * 将查询转换为使用布尔运算
  * 使用**反向索引服务**查找与查询匹配的文档
    * **反向索引服务**对匹配结果进行排名并返回最高结果
    * 使用**文档服务**返回标题和摘要

我们将会用一个公开的 [**REST 风格接口**](https://github.com/donnemartin/system-design-primer/blob/master/README-zh-Hans.md#表述性状态转移rest)：

```shell
$ curl https://search.com/api/v1/search?query=hello+world
```

Response:

```json
{
    "title": "foo's title",
    "snippet": "foo's snippet",
    "link": "https://foo.com",
},
{
    "title": "bar's title",
    "snippet": "bar's snippet",
    "link": "https://bar.com",
},
{
    "title": "baz's title",
    "snippet": "baz's snippet",
    "link": "https://baz.com",
},
```

用于内部通信，我们可以用 [RPC](https://github.com/donnemartin/system-design-primer/blob/master/README-zh-Hans.md#远程过程调用协议rpc)。

## 第四步：扩展这个设计

> 基于给定的约束条件，确定并解决瓶颈问题。

![Imgur](http://i.imgur.com/bWxPtQA.png)

**重要提示: 不要简单的从最初的设计直接跳到最终的设计**

说明您将迭代地执行这样的操作：1)**Benchmark/Load 测试**，2)**Profile** 出瓶颈，3)在评估替代方案和权衡时解决瓶颈，4)重复前面，可以参考[在 AWS 上设计一个可以支持百万用户的系统](../scaling_aws/README.md)这个用来解决如何迭代地扩展初始设计的例子。

重要的是讨论在初始设计中可能遇到的瓶颈，以及如何解决每个瓶颈。比如，在多个 **Web 服务器**上添加**负载平衡器**可以解决哪些问题？**CDN** 解决哪些问题？**主从复制** 解决哪些问题? 替代方案是什么和怎么对每一个替代方案进行权衡比较？

我们将介绍一些组件来完成设计，并解决可伸缩性问题。内部的负载平衡器并不能减少杂乱。

**为了避免重复的讨论**， 参考以下[系统设计主题](https://github.com/donnemartin/system-design-primer/blob/master/README-zh-Hans.md#系统设计主题的索引)获取主要讨论要点、权衡和替代方案：

* [DNS](https://github.com/donnemartin/system-design-primer/blob/master/README-zh-Hans.md#域名系统)
* [负载均衡器](https://github.com/donnemartin/system-design-primer/blob/master/README-zh-Hans.md#负载均衡器)
* [水平扩展](https://github.com/donnemartin/system-design-primer/blob/master/README-zh-Hans.md#水平扩展)
* [反向代理（web 服务器）](https://github.com/donnemartin/system-design-primer/blob/master/README-zh-Hans.md#反向代理web-服务器)
* [应用层](https://github.com/donnemartin/system-design-primer/blob/master/README-zh-Hans.md#应用层)
* [缓存](https://github.com/donnemartin/system-design-primer/blob/master/README-zh-Hans.md#缓存)
* [NoSQL](https://github.com/donnemartin/system-design-primer/blob/master/README-zh-Hans.md#nosql)
* [一致性模式](https://github.com/donnemartin/system-design-primer/blob/master/README-zh-Hans.md#一致性模式)
* [可用性模式](https://github.com/donnemartin/system-design-primer/blob/master/README-zh-Hans.md#可用性模式)

有些搜索非常受欢迎，而其他搜索只执行一次。 流行查询可以从内存缓存**（例如 Redis 或 Memcached）提供，以减少响应时间并避免重载**反向索引服务**和**文档服务**。**内存缓存**对于处理不均匀分布的流量和流量峰值也很有用。 从内存顺序读取 1 MB 大约需要 250 微秒，而从 SSD 读取需要 4 倍，而从磁盘读取需要 80 倍。<sup><a href=https://github.com/donnemartin/system-design-primer/blob/master/README-zh-Hans.md#每个程序员都应该知道的延迟数>1</a></sup>

以下是对**爬取服务**的一些其他优化：

* 为了要处理数据大小和请求负载，**反向索引服务**和**文档服务**可能需要大量使用分片和复制
* DNS 查找可能是一个瓶颈，**爬虫服务**可以保留自己定期刷新的 DNS 查找
* **爬虫服务**可以通过一次保持多个开放连接来提高性能并减少内存使用，称为[连接池](https://en.wikipedia.org/wiki/Connection_pool)
  * 切换到 [UDP](https://github.com/donnemartin/system-design-primer/blob/master/README-zh-Hans.md#用户数据报协议udp) 也可以提高性能
* 网页爬取是带宽密集型的，确保有足够的带宽来维持高吞吐量

## 额外的话题

> 是否更深入探讨额外主题，取决于问题的范围和面试剩余的时间。

### SQL 扩展模式

* [读副本](https://github.com/donnemartin/system-design-primer/blob/master/README-zh-Hans.md#主从复制)
* [联合](https://github.com/donnemartin/system-design-primer/blob/master/README-zh-Hans.md#联合)
* [分片](https://github.com/donnemartin/system-design-primer/blob/master/README-zh-Hans.md#分片)
* [非规范化](https://github.com/donnemartin/system-design-primer/blob/master/README-zh-Hans.md#非规范化)
* [SQL调优](https://github.com/donnemartin/system-design-primer/blob/master/README-zh-Hans.md#sql-调优)

### NoSQL

* [键值存储](https://github.com/donnemartin/system-design-primer/blob/master/README-zh-Hans.md#键-值存储)
* [文档存储](https://github.com/donnemartin/system-design-primer/blob/master/README-zh-Hans.md#文档类型存储)
* [列型存储](https://github.com/donnemartin/system-design-primer/blob/master/README-zh-Hans.md#列型存储)
* [图数据库](https://github.com/donnemartin/system-design-primer/blob/master/README-zh-Hans.md#图数据库)
* [sql 还是 nosql](https://github.com/donnemartin/system-design-primer/blob/master/README-zh-Hans.md#sql-还是-nosql)

### 缓存

* 在哪缓存
  * [客户端缓存](https://github.com/donnemartin/system-design-primer/blob/master/README-zh-Hans.md#客户端缓存)
  * [CDN 缓存](https://github.com/donnemartin/system-design-primer/blob/master/README-zh-Hans.md#cdn-缓存)
  * [Web 服务器缓存](https://github.com/donnemartin/system-design-primer/blob/master/README-zh-Hans.md#web-服务器缓存)
  * [数据库缓存](https://github.com/donnemartin/system-design-primer/blob/master/README-zh-Hans.md#数据库缓存)
  * [应用缓存](https://github.com/donnemartin/system-design-primer/blob/master/README-zh-Hans.md#应用缓存)
* 缓存什么
  * [数据库查询级别的缓存](https://github.com/donnemartin/system-design-primer/blob/master/README-zh-Hans.md#数据库查询级别的缓存)
  * [对象级别的缓存](https://github.com/donnemartin/system-design-primer/blob/master/README-zh-Hans.md#对象级别的缓存)
* 何时更新缓存
  * [缓存模式](https://github.com/donnemartin/system-design-primer/blob/master/README-zh-Hans.md#缓存模式)
  * [直写模式](https://github.com/donnemartin/system-design-primer/blob/master/README-zh-Hans.md#直写模式)
  * [回写模式](https://github.com/donnemartin/system-design-primer/blob/master/README-zh-Hans.md#回写模式)
  * [刷新](https://github.com/donnemartin/system-design-primer/blob/master/README-zh-Hans.md#刷新)

### 异步和微服务

* [消息队列](https://github.com/donnemartin/system-design-primer/blob/master/README-zh-Hans.md#消息队列)
* [任务队列](https://github.com/donnemartin/system-design-primer/blob/master/README-zh-Hans.md#任务队列)
* [背压](https://github.com/donnemartin/system-design-primer/blob/master/README-zh-Hans.md#背压)
* [微服务](https://github.com/donnemartin/system-design-primer/blob/master/README-zh-Hans.md#微服务)

### 通信

* 讨论权衡:
  * 跟客户端之间的外部通信 - [HTTP APIs following REST](https://github.com/donnemartin/system-design-primer/blob/master/README-zh-Hans.md#表述性状态转移rest)
  * 内部通信 - [RPC](https://github.com/donnemartin/system-design-primer/blob/master/README-zh-Hans.md#远程过程调用协议rpc)
* [服务发现](https://github.com/donnemartin/system-design-primer/blob/master/README-zh-Hans.md#服务发现)

### 安全

参考[安全](https://github.com/donnemartin/system-design-primer/blob/master/README-zh-Hans.md#安全)。

### 延迟数字

见[每个程序员都应该知道的延迟数](https://github.com/donnemartin/system-design-primer/blob/master/README-zh-Hans.md#每个程序员都应该知道的延迟数)。

### 持续进行

* 继续对系统进行基准测试和监控，以在瓶颈出现时解决它们
* 扩展是一个迭代的过程