Python'da Scrapy (Geliştiriciler İçin Nasıl Çalışır)

Scrapy Yükleyin

pip kullanarak aşağıdaki komutu çalıştırarak Scrapy'yi yükleyin:

pip install scrapy

pip install scrapy

Bir Tarayıcı tanımlayın

Örümceğinizi tanımlamak için spiders/ dizini altında yeni bir Python dosyası (örneğin, example.py gibi) oluşturun. İşte bir URL'den veri çeken basit bir tarayıcıya bir örnek:

import scrapy

class QuotesSpider(scrapy.Spider):
    # Name of the spider
    name = 'quotes'
    # Starting URL
    start_urls = ['http://quotes.toscrape.com']

    def parse(self, response):
        # Iterate through each quote block in the response
        for quote in response.css('div.quote'):
            # Extract and yield quote details
            yield {
                'text': quote.css('span.text::text').get(),
                'author': quote.css('span small.author::text').get(),
                'tags': quote.css('div.tags a.tag::text').getall(),
            }
        # Identify and follow the next page link
        next_page = response.css('li.next a::attr(href)').get()
        if next_page is not None:
            yield response.follow(next_page, self.parse)

import scrapy

class QuotesSpider(scrapy.Spider):
    # Name of the spider
    name = 'quotes'
    # Starting URL
    start_urls = ['http://quotes.toscrape.com']

    def parse(self, response):
        # Iterate through each quote block in the response
        for quote in response.css('div.quote'):
            # Extract and yield quote details
            yield {
                'text': quote.css('span.text::text').get(),
                'author': quote.css('span small.author::text').get(),
                'tags': quote.css('div.tags a.tag::text').getall(),
            }
        # Identify and follow the next page link
        next_page = response.css('li.next a::attr(href)').get()
        if next_page is not None:
            yield response.follow(next_page, self.parse)

Ayarları Yapılandır

Kullanıcı ajanı, indirme gecikmeleri ve prosedürler gibi Scrapy proje parametrelerini ayarlamak için settings.py dosyasını düzenleyin. Bu, kullanıcı ajanını değiştirme ve prosedürleri etkinleştirme yoluyla nasıl yapılacağını göstermektedir:

# Obey robots.txt rules
ROBOTSTXT_OBEY = True
# Set user-agent
USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
# Configure pipelines
ITEM_PIPELINES = {
    'myproject.pipelines.MyPipeline': 300,
}

# Obey robots.txt rules
ROBOTSTXT_OBEY = True
# Set user-agent
USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
# Configure pipelines
ITEM_PIPELINES = {
    'myproject.pipelines.MyPipeline': 300,
}

IronPDF nedir?

IronPDF, C#, VB.NET ve diğer .NET dillerinde programlı olarak PDF belgeleri oluşturmak, düzenlemek ve değiştirmek için güçlü bir .NET kütüphanesidir. Geliştiriciler için dinamik olarak yüksek kaliteli PDF'ler oluşturmak için geniş bir özellik seti sunduğu için pek çok program için popüler bir tercihtir.

IronPDF'nin Özellikleri

PDF Oluşturma: IronPDF kullanarak, programcılar yeni PDF belgeleri oluşturabilir veya mevcut HTML elemanlarını, etiketleri, metinleri, resimleri ve diğer dosya formatlarını PDF'lere dönüştürebilir. Bu özellik, dinamik olarak raporlar, faturalar, makbuzlar ve diğer belgeler oluşturmak için çok kullanışlıdır.

HTML'den PDF'ye Dönüşüm: IronPDF, geliştiricilerin JavaScript ve CSS'den stilleri içeren HTML belgelerini PDF dosyalarına dönüştürmelerini kolaylaştırır. Bu, web sayfalarından, dinamik olarak oluşturulan içerikten ve HTML şablonlarından PDF oluşturmaya olanak tanır.

PDF Belgelerinin Değiştirilmesi ve Düzenlenmesi: IronPDF, mevcut PDF belgelerini değiştirmek ve düzenlemek için kapsamlı bir işlevsellik seti sunar. Geliştiriciler, birkaç PDF dosyasını birleştirebilir, bunları ayrı belgelere ayırabilir, sayfaları kaldırabilir ve isteğe göre PDF'leri düzenlemek için yer işaretleri, açıklamalar ve filigranlar ekleyebilir.

IronPDF nasıl kurulur

Python'un bilgisayarınıza kurulu olduğundan emin olduktan sonra, IronPDF'yi kurmak için pip'i kullanın.

pip install ironpdf

IronPDF ile Scrapy projesi

Örümceğinizi tanımlamak için Scrapy projenizin örümcek dizininde (myproject/myproject/spiders) yeni bir Python dosyası (örneğin, example.py gibi) oluşturun. Bir URL'den alıntılar çıkaran temel bir örümceğin kod örneği:

import scrapy
from IronPdf import *

class QuotesSpider(scrapy.Spider):
    name = 'quotes'
    # Web page link
    start_urls = ['http://quotes.toscrape.com']

    def parse(self, response):
        quotes = []
        for quote in response.css('div.quote'):
            title = quote.css('span.text::text').get()
            content = quote.css('span small.author::text').get()
            quotes.append((title, content))  # Append quote to list

        # Generate PDF document using IronPDF
        renderer = ChromePdfRenderer()
        pdf = renderer.RenderHtmlAsPdf(self.get_pdf_content(quotes))
        pdf.SaveAs("quotes.pdf")

    def get_pdf_content(self, quotes):
        # Generate HTML content for PDF using extracted quotes
        html_content = "<html><head><title>Quotes</title></head><body>"
        for title, content in quotes:
            html_content += f"<h2>{title}</h2><p>Author: {content}</p>"
        html_content += "</body></html>"
        return html_content

import scrapy
from IronPdf import *

class QuotesSpider(scrapy.Spider):
    name = 'quotes'
    # Web page link
    start_urls = ['http://quotes.toscrape.com']

    def parse(self, response):
        quotes = []
        for quote in response.css('div.quote'):
            title = quote.css('span.text::text').get()
            content = quote.css('span small.author::text').get()
            quotes.append((title, content))  # Append quote to list

        # Generate PDF document using IronPDF
        renderer = ChromePdfRenderer()
        pdf = renderer.RenderHtmlAsPdf(self.get_pdf_content(quotes))
        pdf.SaveAs("quotes.pdf")

    def get_pdf_content(self, quotes):
        # Generate HTML content for PDF using extracted quotes
        html_content = "<html><head><title>Quotes</title></head><body>"
        for title, content in quotes:
            html_content += f"<h2>{title}</h2><p>Author: {content}</p>"
        html_content += "</body></html>"
        return html_content

IronPDF ile Scrapy projesinin yukarıdaki kod örneğinde, Scrapy kullanarak çıkarılan verileri kullanarak bir PDF belgesi oluşturmak için IronPDF kullanılıyor.

Burada örümceğin parse yöntemi, web sayfasından alıntılar toplar ve PDF dosyası için HTML içeriğini oluşturmak için get_pdf_content fonksiyonunu kullanır. Bu HTML materyali daha sonra IronPDF kullanılarak PDF belgesi olarak işlenir ve quotes.pdf olarak kaydedilir.