Scrapy w Pythonie (jak to działa dla programistów)

Zainstaluj Scrapy

Zainstaluj Scrapy za pomocą pip, uruchamiając następujące polecenie:

pip install scrapy

pip install scrapy

Zdefiniuj pająka

Aby zdefiniować swojego pająka, utwórz nowy plik w języku Python (np. example.py) w katalogu spiders/. Poniżej znajduje się ilustracja przedstawiająca podstawowego robota, który pobiera dane z adresu URL:

import scrapy

class QuotesSpider(scrapy.Spider):
    # Name of the spider
    name = 'quotes'
    # Starting URL
    start_urls = ['http://quotes.toscrape.com']

    def parse(self, response):
        # Iterate through each quote block in the response
        for quote in response.css('div.quote'):
            # Extract and yield quote details
            yield {
                'text': quote.css('span.text::text').get(),
                'author': quote.css('span small.author::text').get(),
                'tags': quote.css('div.tags a.tag::text').getall(),
            }
        # Identify and follow the next page link
        next_page = response.css('li.next a::attr(href)').get()
        if next_page is not None:
            yield response.follow(next_page, self.parse)

import scrapy

class QuotesSpider(scrapy.Spider):
    # Name of the spider
    name = 'quotes'
    # Starting URL
    start_urls = ['http://quotes.toscrape.com']

    def parse(self, response):
        # Iterate through each quote block in the response
        for quote in response.css('div.quote'):
            # Extract and yield quote details
            yield {
                'text': quote.css('span.text::text').get(),
                'author': quote.css('span small.author::text').get(),
                'tags': quote.css('div.tags a.tag::text').getall(),
            }
        # Identify and follow the next page link
        next_page = response.css('li.next a::attr(href)').get()
        if next_page is not None:
            yield response.follow(next_page, self.parse)

Konfiguruj ustawienia

Aby skonfigurować parametry projektu Scrapy, takie jak user-agent, opóźnienia pobierania i potoki, edytuj plik settings.py. Poniżej znajduje się ilustracja pokazująca, jak zmienić user-agent i uruchomić potoki:

# Obey robots.txt rules
ROBOTSTXT_OBEY = True
# Set user-agent
USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
# Configure pipelines
ITEM_PIPELINES = {
    'myproject.pipelines.MyPipeline': 300,
}

# Obey robots.txt rules
ROBOTSTXT_OBEY = True
# Set user-agent
USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
# Configure pipelines
ITEM_PIPELINES = {
    'myproject.pipelines.MyPipeline': 300,
}

Czym jest IronPDF?

IronPDF to potężna biblioteka .NET do programowego tworzenia, edytowania i modyfikowania dokumentów PDF w językach C#, VB.NET i innych językach .NET. Ponieważ zapewnia programistom szeroki zestaw funkcji do dynamicznego tworzenia wysokiej jakości plików PDF, jest popularnym wyborem dla wielu programów.

Funkcje IronPDF

Generowanie plików PDF: Korzystając z IronPDF, programiści mogą tworzyć nowe dokumenty PDF lub konwertować istniejące elementy HTML, takie jak tagi, tekst, obrazy i inne formaty plików, do formatu PDF. Ta funkcja jest bardzo przydatna do dynamicznego tworzenia raportów, faktur, paragonów i innych dokumentów.

Konwersja HTML do PDF: IronPDF ułatwia programistom przekształcanie dokumentów HTML, w tym stylów z JavaScript i CSS, w pliki PDF. Umożliwia to tworzenie plików PDF ze stron internetowych, treści generowanych dynamicznie oraz szablonów HTML.

Modyfikacja i edycja dokumentów PDF: IronPDF zapewnia kompleksowy zestaw funkcji do modyfikowania i zmieniania istniejących dokumentów PDF. Programiści mogą łączyć kilka plików PDF, dzielić je na osobne dokumenty, usuwać strony oraz dodawać zakładki, adnotacje i znaki wodne, a także korzystać z innych funkcji, aby dostosować pliki PDF do swoich potrzeb.

Jak zainstalować IronPDF

Po upewnieniu się, że Python jest zainstalowany na komputerze, użyj pip do zainstalowania IronPDF.

pip install ironpdf

Projekt Scrapy z wykorzystaniem IronPDF

Aby zdefiniować pająka, utwórz nowy plik w języku Python (np. example.py) w katalogu pająka w projekcie Scrapy (myproject/myproject/spiders). Przykładowy kod prostego robota, który pobiera cytaty z adresu URL:

import scrapy
from IronPdf import *

class QuotesSpider(scrapy.Spider):
    name = 'quotes'
    # Web page link
    start_urls = ['http://quotes.toscrape.com']

    def parse(self, response):
        quotes = []
        for quote in response.css('div.quote'):
            title = quote.css('span.text::text').get()
            content = quote.css('span small.author::text').get()
            quotes.append((title, content))  # Append quote to list

        # Generate PDF document using IronPDF
        renderer = ChromePdfRenderer()
        pdf = renderer.RenderHtmlAsPdf(self.get_pdf_content(quotes))
        pdf.SaveAs("quotes.pdf")

    def get_pdf_content(self, quotes):
        # Generate HTML content for PDF using extracted quotes
        html_content = "<html><head><title>Quotes</title></head><body>"
        for title, content in quotes:
            html_content += f"<h2>{title}</h2><p>Author: {content}</p>"
        html_content += "</body></html>"
        return html_content

import scrapy
from IronPdf import *

class QuotesSpider(scrapy.Spider):
    name = 'quotes'
    # Web page link
    start_urls = ['http://quotes.toscrape.com']

    def parse(self, response):
        quotes = []
        for quote in response.css('div.quote'):
            title = quote.css('span.text::text').get()
            content = quote.css('span small.author::text').get()
            quotes.append((title, content))  # Append quote to list

        # Generate PDF document using IronPDF
        renderer = ChromePdfRenderer()
        pdf = renderer.RenderHtmlAsPdf(self.get_pdf_content(quotes))
        pdf.SaveAs("quotes.pdf")

    def get_pdf_content(self, quotes):
        # Generate HTML content for PDF using extracted quotes
        html_content = "<html><head><title>Quotes</title></head><body>"
        for title, content in quotes:
            html_content += f"<h2>{title}</h2><p>Author: {content}</p>"
        html_content += "</body></html>"
        return html_content

W powyższym przykładzie kodu projektu Scrapy z wykorzystaniem IronPDF, IronPDF służy do tworzenia dokumentu PDF na podstawie danych wyodrębnionych za pomocą Scrapy.

W tym przypadku metoda parse pająka zbiera cytaty ze strony internetowej i wykorzystuje funkcję get_pdf_content do tworzenia treści HTML dla pliku PDF. Ten materiał HTML jest następnie renderowany jako dokument PDF przy użyciu IronPDF i zapisywany jako quotes.pdf.