Python'da Scrapy (Geliştiriciler İçin Nasıl Çalışır)

Scrapy Yükleme

pip kullanarak Scrapy kurun, aşağıdaki komutu çalıştırarak:

pip install scrapy

pip install scrapy

Bir Örümcek Tanımlayın

Örümceğinizi tanımlamak için example.py gibi yeni bir Python dosyası spiders/ dizininde oluşturun. Bir URL'den çıkartma yapan basit bir örümcek örneği burada sağlanmıştır:

import scrapy

class QuotesSpider(scrapy.Spider):
    # Name of the spider
    name = 'quotes'
    # Starting URL
    start_urls = ['http://quotes.toscrape.com']

    def parse(self, response):
        # Iterate through each quote block in the response
        for quote in response.css('div.quote'):
            # Extract and yield quote details
            yield {
                'text': quote.css('span.text::text').get(),
                'author': quote.css('span small.author::text').get(),
                'tags': quote.css('div.tags a.tag::text').getall(),
            }
        # Identify and follow the next page link
        next_page = response.css('li.next a::attr(href)').get()
        if next_page is not None:
            yield response.follow(next_page, self.parse)

import scrapy

class QuotesSpider(scrapy.Spider):
    # Name of the spider
    name = 'quotes'
    # Starting URL
    start_urls = ['http://quotes.toscrape.com']

    def parse(self, response):
        # Iterate through each quote block in the response
        for quote in response.css('div.quote'):
            # Extract and yield quote details
            yield {
                'text': quote.css('span.text::text').get(),
                'author': quote.css('span small.author::text').get(),
                'tags': quote.css('div.tags a.tag::text').getall(),
            }
        # Identify and follow the next page link
        next_page = response.css('li.next a::attr(href)').get()
        if next_page is not None:
            yield response.follow(next_page, self.parse)

Ayarları Yapılandır

Kullanıcı ajanı, indirme gecikmeleri ve ardışık düzenler gibi Scrapy proje parametrelerini ayarlamak için settings.py dosyasını düzenleyin. Bu, kullanıcı ajanını nasıl değiştireceğiniz ve ardışık düzenleri nasıl işlevsel hale getireceğinizin bir gösterimidir:

# Obey robots.txt rules
ROBOTSTXT_OBEY = True
# Set user-agent
USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
# Configure pipelines
ITEM_PIPELINES = {
    'myproject.pipelines.MyPipeline': 300,
}

# Obey robots.txt rules
ROBOTSTXT_OBEY = True
# Set user-agent
USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
# Configure pipelines
ITEM_PIPELINES = {
    'myproject.pipelines.MyPipeline': 300,
}

IronPDF Nedir?

IronPDF, C#, VB.NET ve diğer .NET dillerinde programlı olarak PDF belgeleri oluşturmak, düzenlemek ve değiştirmek için güçlü bir .NET kütüphanesidir. Geliştiricilere yüksek kaliteli PDF'leri dinamik olarak oluşturma için geniş bir fırsat seti sunduğundan, birçok program için popüler bir seçimdir.

IronPDF Özellikleri

PDF Oluşturma: IronPDF kullanarak, programcılar yeni PDF belgeleri yaratabilir ya da mevcut HTML öğeleri, etiketler, metinler, resimler ve diğer dosya formatlarının PDF'lere dönüştürülmesini sağlayabilir. Bu özellik, raporlar, faturalar, makbuzlar ve diğer belgeleri dinamik olarak oluşturmak için çok kullanışlıdır.

HTML'den PDF'ye Dönüşüm: IronPDF, geliştiricilerin JavaScript ve CSS'ten gelen stiller de dahil olmak üzere HTML belgelerini PDF dosyalarına kolayca dönüştürmesini sağlar. Bu, web sayfalarından, dinamik olarak üretilen içerikten ve HTML şablonlarından PDF oluşturulmasını sağlar.

PDF Belgelerinin Düzenleme ve Değiştirilmesi: IronPDF, mevcut PDF belgelerinin düzenlenmesi ve değiştirilmesi için kapsamlı bir fonksiyon seti sunar. Geliştiriciler, PDF'leri kendi ihtiyaçlarına göre özelleştirmek için birçok PDF dosyasını birleştirebilir, ayrı belgelere ayırabilir, sayfaları kaldırabilir, yer imleri, açıklamalar ve filigranlar gibi unsurlar ekleyebilir.

IronPDF Nasıl Yüklenir

Python'un bilgisayarınıza yüklü olduğundan emin olduktan sonra, pip kullanarak IronPDF'i yükleyin.

pip install ironpdf

IronPDF ile Scrapy Projesi

Örümceğinizi tanımlamak için Scrapy projenizin (myproject/myproject/spiders) örümcek dizininde example.py gibi yeni bir Python dosyası oluşturun. URL'den alıntılar çıkartan basit bir örümcek kod örneği:

import scrapy
from IronPdf import *

class QuotesSpider(scrapy.Spider):
    name = 'quotes'
    # Web page link
    start_urls = ['http://quotes.toscrape.com']

    def parse(self, response):
        quotes = []
        for quote in response.css('div.quote'):
            title = quote.css('span.text::text').get()
            content = quote.css('span small.author::text').get()
            quotes.append((title, content))  # Append quote to list

        # Generate PDF document using IronPDF
        renderer = ChromePdfRenderer()
        pdf = renderer.RenderHtmlAsPdf(self.get_pdf_content(quotes))
        pdf.SaveAs("quotes.pdf")

    def get_pdf_content(self, quotes):
        # Generate HTML content for PDF using extracted quotes
        html_content = "<html><head><title>Quotes</title></head><body>"
        for title, content in quotes:
            html_content += f"<h2>{title}</h2><p>Author: {content}</p>"
        html_content += "</body></html>"
        return html_content

import scrapy
from IronPdf import *

class QuotesSpider(scrapy.Spider):
    name = 'quotes'
    # Web page link
    start_urls = ['http://quotes.toscrape.com']

    def parse(self, response):
        quotes = []
        for quote in response.css('div.quote'):
            title = quote.css('span.text::text').get()
            content = quote.css('span small.author::text').get()
            quotes.append((title, content))  # Append quote to list

        # Generate PDF document using IronPDF
        renderer = ChromePdfRenderer()
        pdf = renderer.RenderHtmlAsPdf(self.get_pdf_content(quotes))
        pdf.SaveAs("quotes.pdf")

    def get_pdf_content(self, quotes):
        # Generate HTML content for PDF using extracted quotes
        html_content = "<html><head><title>Quotes</title></head><body>"
        for title, content in quotes:
            html_content += f"<h2>{title}</h2><p>Author: {content}</p>"
        html_content += "</body></html>"
        return html_content

IronPDF ile bir Scrapy projesinin yukarıdaki kod örneğinde, IronPDF çıkartılan veriyi kullanarak bir PDF belgesi oluşturmak için kullanılıyor.

Burada, örümceğin parse metodu web sayfasından alıntılar toplar ve HTML içeriğini PDF dosyası için oluşturmak amacıyla get_pdf_content fonksiyonunu kullanır. Bu HTML materyali daha sonra IronPDF kullanılarak PDF belgesi olarak işlenir ve quotes.pdf olarak kaydedilir.