概述:
Spider定义如何爬取某个网站, 包括爬取的动作, 以及如何从网页的内容中提取结构化数据.
# -*- coding: utf-8 -*-
import scrapy
from tutorial.items import QuoteItem
class QuotesSpider(scrapy.Spider):
name = 'quotes'
allowed_domains = ['quotes.toscrape.com']
start_urls = ['http://quotes.toscrape.com/']
def parse(self, response):
quotes = response.css('.quote')
for quote in quotes:
Item = QuoteItem()
Item['text'] = quote.css('.text::text').extract_first()
Item['author'] = quote.css('.author::text').extract_first()
Item['tags'] = quote.css('.tags .tag::text').extract()
yield Item #如此一来, 首页的所有内容被解析出来, 并被赋值成了一个个QuoteItem
next = quote.css('.pager .next a::attr(href)').extract_first()
url = response.urljoin(next)
yield scrapy.Request(url=url, callback=self.parse)
#第一句代码首先通过CSS选择器获取下一个页面的链接, 即要获取超链接a中的属性,这里用到了 ::attr(href) 操作
#然后调用 extract_first() 方法获取内容
#第二句调用urljoin方法, 将相对url构造成一个绝对url, 例如: 获取到的下一页的地址是 /page/2, urljoin方法处理后的到的结果就是
#http://quotes.toscrape.com/page/2/
#第三句通过url 和 callback变量构造了一个新的请求, 回调函数callback依然使用 parse()方法, 这个请求完成后,响应会重新经过parse方法处理,得到第二页的解析结果,然后生成第二页的下一页, 也就是第三页的请求, 这样爬虫就进入了一个循环, 直到最后一页.