【实例】Python爬虫实战：用Python实现高效率爬虫

Python爬虫是一种高效的获取互联网信息的方法。Python爬虫采用Python语言编写，可以通过爬虫技术获取网络上的信息，包括网页、图片、视频、音频等等。本文将介绍使用Python实现一个简单而高效的爬虫程序。


一、基础知识

1. 爬虫原理

爬虫技术的本质就是模拟浏览器的行为，访问网站获取需要的信息。爬虫程序通过构造HTTP请求和解析HTTP响应来实现对web资源的访问。

2. HTTP协议

HTTP（超文本传输协议）是一种用于传输超媒体（超文本和图像等）文档的应用层协议，通常基于TCP协议进行通信。HTTP协议常用的请求方式有GET和POST两种。

3. requests库

requests是Python第三方库，用于发送HTTP请求。requests库是Python中HTTP库的第一选择，它简单易用，功能强大。

4. BeautifulSoup库

BeautifulSoup库是Python的一个HTML/XML解析器，它能够方便地处理复杂的HTML和XML文档。

二、爬虫实现

1. 获取网页内容

爬虫首先需要获取想要爬取的网页的内容。requests库提供了get()方法可以用于发送GET请求获取网页内容，如下所示：

```python
import requests

url = 'http://www.example.com'
response = requests.get(url)
content = response.text
```

2. 解析网页内容

获取网页内容后，需要用BeautifulSoup解析HTML文档。这里介绍用BeautifulSoup解析HTML文档的基本方法。

```python
from bs4 import BeautifulSoup

soup = BeautifulSoup(content, 'html.parser')
```

3. 提取信息

根据需要爬取的信息，可以通过BeautifulSoup提供的方法，选取需要的标签进行提取。下面是一个简单的例子，解析百度搜索结果的代码。

```python
from bs4 import BeautifulSoup
import requests

url = "http://www.baidu.com/s?wd=python"
res = requests.get(url)
soup = BeautifulSoup(res.text, 'html.parser')

for result in soup.find_all('div', {'class': 'result'}):
    title = result.find('h3', {'class': 't'})
    if title:
        print(title.get_text())
```

4. 自动爬取

如果需要爬取多个网页，可以利用循环和正则表达式实现自动爬取。下面是一个简单的示例，自动爬取豆瓣电影Top250。

```python
import requests
import re
from bs4 import BeautifulSoup

def get_movies(url):
    movies = []
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'}
    try:
        res = requests.get(url, headers=headers)
        soup = BeautifulSoup(res.text, 'html.parser')
        for item in soup.find_all('div', {'class': 'item'}):
            movie = {}
            movie['title'] = item.find('span', {'class': 'title'}).get_text().strip()
            movie['score'] = item.find('span', {'class': 'rating_num'}).get_text().strip()
            movie['comments'] = item.find('span', {'class': 'inq'}).get_text().strip()
            movies.append(movie)
        next_page = soup.find('span', {'class': 'next'}).find('a')['href']
        if next_page:
            return movies, next_page
        return movies, None
    except Exception as e:
        print(e)
        return movies, None

url = 'https://movie.douban.com/top250'
next_page = url
while next_page:
    movies, next_page = get_movies(next_page)
    print(movies)
```

三、总结

本文介绍了Python爬虫的基本知识和实现方法，包括HTTP协议、requests库、BeautifulSoup库等。通过学习本文，读者可以掌握基本的Python爬虫技术，用Python实现高效率的爬虫程序。