Scrapy em Python (Como funciona para desenvolvedores)

Instale o Scrapy

Instale o Scrapy usando o pip executando o seguinte comando:

pip install scrapy

pip install scrapy

Defina uma aranha

Para definir seu spider, crie um novo arquivo Python (como example.py) no diretório spiders/. Segue abaixo uma ilustração de um spider básico que extrai dados de uma URL:

import scrapy

class QuotesSpider(scrapy.Spider):
    # Name of the spider
    name = 'quotes'
    # Starting URL
    start_urls = ['http://quotes.toscrape.com']

    def parse(self, response):
        # Iterate through each quote block in the response
        for quote in response.css('div.quote'):
            # Extract and yield quote details
            yield {
                'text': quote.css('span.text::text').get(),
                'author': quote.css('span small.author::text').get(),
                'tags': quote.css('div.tags a.tag::text').getall(),
            }
        # Identify and follow the next page link
        next_page = response.css('li.next a::attr(href)').get()
        if next_page is not None:
            yield response.follow(next_page, self.parse)

import scrapy

class QuotesSpider(scrapy.Spider):
    # Name of the spider
    name = 'quotes'
    # Starting URL
    start_urls = ['http://quotes.toscrape.com']

    def parse(self, response):
        # Iterate through each quote block in the response
        for quote in response.css('div.quote'):
            # Extract and yield quote details
            yield {
                'text': quote.css('span.text::text').get(),
                'author': quote.css('span small.author::text').get(),
                'tags': quote.css('div.tags a.tag::text').getall(),
            }
        # Identify and follow the next page link
        next_page = response.css('li.next a::attr(href)').get()
        if next_page is not None:
            yield response.follow(next_page, self.parse)

Configurar configurações

Para configurar os parâmetros do projeto Scrapy, como user-agent, atrasos de download e pipelines, edite o arquivo settings.py. Esta é uma ilustração de como alterar o user-agent e ativar os pipelines:

# Obey robots.txt rules
ROBOTSTXT_OBEY = True
# Set user-agent
USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
# Configure pipelines
ITEM_PIPELINES = {
    'myproject.pipelines.MyPipeline': 300,
}

# Obey robots.txt rules
ROBOTSTXT_OBEY = True
# Set user-agent
USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
# Configure pipelines
ITEM_PIPELINES = {
    'myproject.pipelines.MyPipeline': 300,
}

O que é o IronPDF?

IronPDF é uma poderosa biblioteca .NET para criar, editar e alterar documentos PDF programaticamente em C#, VB .NET e outras linguagens .NET . Por oferecer aos desenvolvedores um amplo conjunto de recursos para a criação dinâmica de PDFs de alta qualidade, é uma escolha popular para muitos programas.

Funcionalidades do IronPDF

Geração de PDFs: Usando o IronPDF, os programadores podem criar novos documentos PDF ou converter elementos HTML existentes, como tags, texto, imagens e outros formatos de arquivo, em PDFs. Essa funcionalidade é muito útil para criar relatórios, faturas, recibos e outros documentos de forma dinâmica.

Conversão de HTML para PDF: O IronPDF facilita para os desenvolvedores a transformação de documentos HTML, incluindo estilos de JavaScript e CSS, em arquivos PDF. Isso permite a criação de PDFs a partir de páginas da web, conteúdo gerado dinamicamente e modelos HTML.

Modificação e edição de documentos PDF: O IronPDF oferece um conjunto abrangente de funcionalidades para modificar e alterar documentos PDF preexistentes. Os desenvolvedores podem mesclar vários arquivos PDF, separá-los em documentos distintos, remover páginas e adicionar marcadores, anotações e marcas d'água, entre outros recursos, para personalizar os PDFs de acordo com suas necessidades.

Como instalar o IronPDF

Após certificar-se de que o Python está instalado em seu computador, use o pip para instalar o IronPDF.

pip install ironpdf

Projeto Scrapy com IronPDF

Para definir seu spider, crie um novo arquivo Python (como example.py) no diretório do spider do seu projeto Scrapy (myproject/myproject/spiders). Um exemplo de código de um spider básico que extrai citações de uma URL:

import scrapy
from IronPdf import *

class QuotesSpider(scrapy.Spider):
    name = 'quotes'
    # Web page link
    start_urls = ['http://quotes.toscrape.com']

    def parse(self, response):
        quotes = []
        for quote in response.css('div.quote'):
            title = quote.css('span.text::text').get()
            content = quote.css('span small.author::text').get()
            quotes.append((title, content))  # Append quote to list

        # Generate PDF document using IronPDF
        renderer = ChromePdfRenderer()
        pdf = renderer.RenderHtmlAsPdf(self.get_pdf_content(quotes))
        pdf.SaveAs("quotes.pdf")

    def get_pdf_content(self, quotes):
        # Generate HTML content for PDF using extracted quotes
        html_content = "<html><head><title>Quotes</title></head><body>"
        for title, content in quotes:
            html_content += f"<h2>{title}</h2><p>Author: {content}</p>"
        html_content += "</body></html>"
        return html_content

import scrapy
from IronPdf import *

class QuotesSpider(scrapy.Spider):
    name = 'quotes'
    # Web page link
    start_urls = ['http://quotes.toscrape.com']

    def parse(self, response):
        quotes = []
        for quote in response.css('div.quote'):
            title = quote.css('span.text::text').get()
            content = quote.css('span small.author::text').get()
            quotes.append((title, content))  # Append quote to list

        # Generate PDF document using IronPDF
        renderer = ChromePdfRenderer()
        pdf = renderer.RenderHtmlAsPdf(self.get_pdf_content(quotes))
        pdf.SaveAs("quotes.pdf")

    def get_pdf_content(self, quotes):
        # Generate HTML content for PDF using extracted quotes
        html_content = "<html><head><title>Quotes</title></head><body>"
        for title, content in quotes:
            html_content += f"<h2>{title}</h2><p>Author: {content}</p>"
        html_content += "</body></html>"
        return html_content

No exemplo de código acima, de um projeto Scrapy com IronPDF, o IronPDF está sendo usado para criar um documento PDF utilizando os dados extraídos pelo Scrapy.

Aqui, o método parse da aranha coleta citações da página da web e usa a função get_pdf_content para criar o conteúdo HTML para o arquivo PDF. Esse material HTML é posteriormente renderizado como um documento PDF usando o IronPDF e salvo como quotes.pdf.