Scrapy en Python (Cómo Funciona Para Desarrolladores)

Instalar Scrapy

Instala Scrapy usando pip ejecutando el siguiente comando:

pip install scrapy

pip install scrapy

Defina una araña

Para definir tu spider, crea un nuevo archivo Python (como example.py) en el directorio spiders/. Aquí se proporciona una ilustración de un spider básico que extrae desde una URL:

import scrapy

class QuotesSpider(scrapy.Spider):
    # Name of the spider
    name = 'quotes'
    # Starting URL
    start_urls = ['http://quotes.toscrape.com']

    def parse(self, response):
        # Iterate through each quote block in the response
        for quote in response.css('div.quote'):
            # Extract and yield quote details
            yield {
                'text': quote.css('span.text::text').get(),
                'author': quote.css('span small.author::text').get(),
                'tags': quote.css('div.tags a.tag::text').getall(),
            }
        # Identify and follow the next page link
        next_page = response.css('li.next a::attr(href)').get()
        if next_page is not None:
            yield response.follow(next_page, self.parse)

import scrapy

class QuotesSpider(scrapy.Spider):
    # Name of the spider
    name = 'quotes'
    # Starting URL
    start_urls = ['http://quotes.toscrape.com']

    def parse(self, response):
        # Iterate through each quote block in the response
        for quote in response.css('div.quote'):
            # Extract and yield quote details
            yield {
                'text': quote.css('span.text::text').get(),
                'author': quote.css('span small.author::text').get(),
                'tags': quote.css('div.tags a.tag::text').getall(),
            }
        # Identify and follow the next page link
        next_page = response.css('li.next a::attr(href)').get()
        if next_page is not None:
            yield response.follow(next_page, self.parse)

Configurar parámetros

Para configurar los parámetros del proyecto Scrapy como user-agent, retrasos de descarga y canalizaciones, edita el archivo settings.py. Aquí tienes una ilustración de cómo cambiar el user-agent y hacer que las canalizaciones sean funcionales:

# Obey robots.txt rules
ROBOTSTXT_OBEY = True
# Set user-agent
USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
# Configure pipelines
ITEM_PIPELINES = {
    'myproject.pipelines.MyPipeline': 300,
}

# Obey robots.txt rules
ROBOTSTXT_OBEY = True
# Set user-agent
USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
# Configure pipelines
ITEM_PIPELINES = {
    'myproject.pipelines.MyPipeline': 300,
}

¿Qué es IronPDF?

IronPDF es una poderosa biblioteca .NET para crear, editar y modificar documentos PDF programáticamente en C#, VB.NET y otros lenguajes .NET. Dado que ofrece a los desarrolladores un amplio conjunto de funciones para crear dinámicamente PDFs de alta calidad, es una opción popular para muchos programas.

Características de IronPDF

Generación de PDF: Usando IronPDF, los programadores pueden crear nuevos documentos PDF o convertir elementos HTML existentes como etiquetas, texto, imágenes y otros formatos de archivos en PDFs. Esta característica es muy útil para crear informes, facturas, recibos y otros documentos de manera dinámica.

Conversión de HTML a PDF: IronPDF facilita que los desarrolladores transformen documentos HTML, incluidos estilos de JavaScript y CSS, en archivos PDF. Esto permite la creación de PDFs desde páginas web, contenido generado dinámicamente y plantillas HTML.

Modificación y Edición de Documentos PDF: IronPDF proporciona un conjunto completo de funcionalidades para modificar y alterar documentos PDF preexistentes. Los desarrolladores pueden fusionar varios archivos PDF, separarlos en documentos separados, eliminar páginas y agregar marcadores, anotaciones y marcas de agua, entre otras características, para personalizar PDFs según sus requisitos.

Cómo instalar IronPDF

Después de asegurarte de que Python esté instalado en tu computadora, usa pip para instalar IronPDF.

 pip install ironpdf

Proyecto Scrapy con IronPDF

Para definir tu spider, crea un nuevo archivo Python (como example.py) en el directorio del spider de tu proyecto Scrapy (myproject/myproject/spiders). Un ejemplo de código de un spider básico que extrae citas de una URL:

import scrapy
from IronPdf import *

class QuotesSpider(scrapy.Spider):
    name = 'quotes'
    # Web page link
    start_urls = ['http://quotes.toscrape.com']

    def parse(self, response):
        quotes = []
        for quote in response.css('div.quote'):
            title = quote.css('span.text::text').get()
            content = quote.css('span small.author::text').get()
            quotes.append((title, content))  # Append quote to list

        # Generate PDF document using IronPDF
        renderer = ChromePdfRenderer()
        pdf = renderer.RenderHtmlAsPdf(self.get_pdf_content(quotes))
        pdf.SaveAs("quotes.pdf")

    def get_pdf_content(self, quotes):
        # Generate HTML content for PDF using extracted quotes
        html_content = "<html><head><title>Quotes</title></head><body>"
        for title, content in quotes:
            html_content += f"<h2>{title}</h2><p>Author: {content}</p>"
        html_content += "</body></html>"
        return html_content

import scrapy
from IronPdf import *

class QuotesSpider(scrapy.Spider):
    name = 'quotes'
    # Web page link
    start_urls = ['http://quotes.toscrape.com']

    def parse(self, response):
        quotes = []
        for quote in response.css('div.quote'):
            title = quote.css('span.text::text').get()
            content = quote.css('span small.author::text').get()
            quotes.append((title, content))  # Append quote to list

        # Generate PDF document using IronPDF
        renderer = ChromePdfRenderer()
        pdf = renderer.RenderHtmlAsPdf(self.get_pdf_content(quotes))
        pdf.SaveAs("quotes.pdf")

    def get_pdf_content(self, quotes):
        # Generate HTML content for PDF using extracted quotes
        html_content = "<html><head><title>Quotes</title></head><body>"
        for title, content in quotes:
            html_content += f"<h2>{title}</h2><p>Author: {content}</p>"
        html_content += "</body></html>"
        return html_content

En el ejemplo de código anterior de un proyecto Scrapy con IronPDF, se está utilizando IronPDF para crear un documento PDF utilizando los datos que han sido extraídos usando Scrapy.

Aquí, el método parse del spider reúne citas de la página web y utiliza la función get_pdf_content para crear el contenido HTML para el archivo PDF. Este material HTML es posteriormente renderizado como un documento PDF usando IronPDF y guardado como quotes.pdf.