Scrapy in Python（開発者向けのしくみ）

Scrapyをインストールする

pipを使用して次のコマンドを実行し、Scrapyをインストールします。

pip install scrapy

pip install scrapy

スパイダーを定義する

スパイダーを定義するには、Pythonファイル（例えばexample.py）をspiders/ディレクトリに作成します。 ここにURLから抽出する基本的なスパイダーの例を示します。

import scrapy

class QuotesSpider(scrapy.Spider):
    # Name of the spider
    name = 'quotes'
    # Starting URL
    start_urls = ['http://quotes.toscrape.com']

    def parse(self, response):
        # Iterate through each quote block in the response
        for quote in response.css('div.quote'):
            # Extract and yield quote details
            yield {
                'text': quote.css('span.text::text').get(),
                'author': quote.css('span small.author::text').get(),
                'tags': quote.css('div.tags a.tag::text').getall(),
            }
        # Identify and follow the next page link
        next_page = response.css('li.next a::attr(href)').get()
        if next_page is not None:
            yield response.follow(next_page, self.parse)

import scrapy

class QuotesSpider(scrapy.Spider):
    # Name of the spider
    name = 'quotes'
    # Starting URL
    start_urls = ['http://quotes.toscrape.com']

    def parse(self, response):
        # Iterate through each quote block in the response
        for quote in response.css('div.quote'):
            # Extract and yield quote details
            yield {
                'text': quote.css('span.text::text').get(),
                'author': quote.css('span small.author::text').get(),
                'tags': quote.css('div.tags a.tag::text').getall(),
            }
        # Identify and follow the next page link
        next_page = response.css('li.next a::attr(href)').get()
        if next_page is not None:
            yield response.follow(next_page, self.parse)

設定を構成する

Scrapyプロジェクトのパラメータ（ユーザーエージェント、ダウンロードの遅延、パイプラインなど）を設定するには、settings.pyファイルを編集します。以下はユーザーエージェントを変更し、パイプラインを機能させる方法の例です。

# Obey robots.txt rules
ROBOTSTXT_OBEY = True
# Set user-agent
USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
# Configure pipelines
ITEM_PIPELINES = {
    'myproject.pipelines.MyPipeline': 300,
}

# Obey robots.txt rules
ROBOTSTXT_OBEY = True
# Set user-agent
USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
# Configure pipelines
ITEM_PIPELINES = {
    'myproject.pipelines.MyPipeline': 300,
}

IronPDF とは何ですか?

IronPDFは、C#、VB.NETなどの.NET言語でプログラムによるPDFドキュメントの作成、編集、および変更を行うための強力な.NETライブラリです。 高品質なPDFを動的に作成するための多様な機能セットを開発者に提供するため、多くのプログラムにおいて人気の選択肢です。

IronPDF の機能

PDF生成: IronPDFを使用し、プログラマーは新しいPDFドキュメントを作成したり、タグ、テキスト、画像、および他のファイル形式など、既存のHTML要素をPDFに変換できます。 この機能は、動的にレポート、請求書、領収書、その他のドキュメントを作成するために非常に役立ちます。

HTMLからPDFへの変換: IronPDFは開発者に、JavaScriptやCSSのスタイルを含むHTMLドキュメントをPDFファイルに変換することを容易にします。 これにより、ウェブページや動的に生成されたコンテンツ、HTMLテンプレートからのPDFの作成が可能になります。

PDFドキュメントの修正と編集: IronPDFは、既存のPDFドキュメントを修正および変更するための包括的な機能セットを提供します。 開発者は複数のPDFファイルを結合したり、別々のドキュメントに分割したり、ページを削除したり、ブックマーク、注釈、透かしを追加したりと、PDFを自身のニーズに合わせてカスタマイズできます。

IronPDFをインストールする方法

Pythonがコンピューターにインストールされていることを確認した後、pipを使ってIronPDFをインストールします。

 pip install ironpdf

IronPDFを使用したScrapyプロジェクト

スパイダーを定義するには、自分のScrapyプロジェクトのスパイダーディレクトリ内に新しいPythonファイル（例:example.py）を作成します（myproject/myproject/spiders）。 URLから引用を抽出する基本的なスパイダーのコード例を示します。

import scrapy
from IronPdf import *

class QuotesSpider(scrapy.Spider):
    name = 'quotes'
    # Web page link
    start_urls = ['http://quotes.toscrape.com']

    def parse(self, response):
        quotes = []
        for quote in response.css('div.quote'):
            title = quote.css('span.text::text').get()
            content = quote.css('span small.author::text').get()
            quotes.append((title, content))  # Append quote to list

        # Generate PDF document using IronPDF
        renderer = ChromePdfRenderer()
        pdf = renderer.RenderHtmlAsPdf(self.get_pdf_content(quotes))
        pdf.SaveAs("quotes.pdf")

    def get_pdf_content(self, quotes):
        # Generate HTML content for PDF using extracted quotes
        html_content = "<html><head><title>Quotes</title></head><body>"
        for title, content in quotes:
            html_content += f"<h2>{title}</h2><p>Author: {content}</p>"
        html_content += "</body></html>"
        return html_content

import scrapy
from IronPdf import *

class QuotesSpider(scrapy.Spider):
    name = 'quotes'
    # Web page link
    start_urls = ['http://quotes.toscrape.com']

    def parse(self, response):
        quotes = []
        for quote in response.css('div.quote'):
            title = quote.css('span.text::text').get()
            content = quote.css('span small.author::text').get()
            quotes.append((title, content))  # Append quote to list

        # Generate PDF document using IronPDF
        renderer = ChromePdfRenderer()
        pdf = renderer.RenderHtmlAsPdf(self.get_pdf_content(quotes))
        pdf.SaveAs("quotes.pdf")

    def get_pdf_content(self, quotes):
        # Generate HTML content for PDF using extracted quotes
        html_content = "<html><head><title>Quotes</title></head><body>"
        for title, content in quotes:
            html_content += f"<h2>{title}</h2><p>Author: {content}</p>"
        html_content += "</body></html>"
        return html_content

上記のIronPDFを使ったScrapyプロジェクトのコード例では、Scrapyで抽出されたデータを用いてPDFドキュメントを作成するためにIronPDFが使用されています。

ここでスパイダーのparseメソッドがウェブページから引用を収集し、get_pdf_content関数を使ってPDFファイルのHTMLコンテンツを生成します。このHTML素材は後にIronPDFを使ってPDFドキュメントとしてレンダリングされ、quotes.pdfとして保存されます。