Python으로 Scrapy 사용하기 (개발자를 위한 작동 방식)

Scrapy를 설치하세요

pip를 사용하여 Scrapy를 설치하려면 다음 명령어를 실행하세요.

pip install scrapy

pip install scrapy

스파이더를 정의하세요

스파이더를 정의하려면, spiders/ 디렉토리 아래에 새로운 Python 파일(예: example.py)을 생성하십시오. URL에서 정보를 추출하는 기본적인 스파이더의 예시는 다음과 같습니다.

import scrapy

class QuotesSpider(scrapy.Spider):
    # Name of the spider
    name = 'quotes'
    # Starting URL
    start_urls = ['http://quotes.toscrape.com']

    def parse(self, response):
        # Iterate through each quote block in the response
        for quote in response.css('div.quote'):
            # Extract and yield quote details
            yield {
                'text': quote.css('span.text::text').get(),
                'author': quote.css('span small.author::text').get(),
                'tags': quote.css('div.tags a.tag::text').getall(),
            }
        # Identify and follow the next page link
        next_page = response.css('li.next a::attr(href)').get()
        if next_page is not None:
            yield response.follow(next_page, self.parse)

import scrapy

class QuotesSpider(scrapy.Spider):
    # Name of the spider
    name = 'quotes'
    # Starting URL
    start_urls = ['http://quotes.toscrape.com']

    def parse(self, response):
        # Iterate through each quote block in the response
        for quote in response.css('div.quote'):
            # Extract and yield quote details
            yield {
                'text': quote.css('span.text::text').get(),
                'author': quote.css('span small.author::text').get(),
                'tags': quote.css('div.tags a.tag::text').getall(),
            }
        # Identify and follow the next page link
        next_page = response.css('li.next a::attr(href)').get()
        if next_page is not None:
            yield response.follow(next_page, self.parse)

설정 구성

사용자 에이전트, 다운로드 지연 및 파이프라인과 같은 Scrapy 프로젝트 매개변수를 설정하려면, settings.py 파일을 편집하십시오. 이는 사용자 에이전트를 변경하고 파이프라인을 작동시키는 방법을 보여 줍니다:

# Obey robots.txt rules
ROBOTSTXT_OBEY = True
# Set user-agent
USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
# Configure pipelines
ITEM_PIPELINES = {
    'myproject.pipelines.MyPipeline': 300,
}

# Obey robots.txt rules
ROBOTSTXT_OBEY = True
# Set user-agent
USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
# Configure pipelines
ITEM_PIPELINES = {
    'myproject.pipelines.MyPipeline': 300,
}

IronPDF 란 무엇인가요?

IronPDF 는 C#, VB .NET 및 기타 .NET 언어로 PDF 문서를 프로그래밍 방식으로 생성, 편집 및 변경할 수 있는 강력한 .NET 라이브러리입니다. 이 기능은 개발자에게 고품질 PDF를 동적으로 생성할 수 있는 다양한 기능을 제공하기 때문에 많은 프로그램에서 널리 사용됩니다.

IronPDF 의 특징

PDF 생성: IronPDF 사용하면 프로그래머는 새 PDF 문서를 생성하거나 태그, 텍스트, 이미지 및 기타 파일 형식과 같은 기존 HTML 요소를 PDF로 변환할 수 있습니다. 이 기능은 보고서, 송장, 영수증 및 기타 문서를 동적으로 생성하는 데 매우 유용합니다.

HTML을 PDF로 변환: IronPDF 개발자가 JavaScript 및 CSS 스타일을 포함한 HTML 문서를 PDF 파일로 간편하게 변환할 수 있도록 지원합니다. 이를 통해 웹 페이지, 동적으로 생성된 콘텐츠 및 HTML 템플릿에서 PDF를 생성할 수 있습니다.

PDF 문서 수정 및 편집: IronPDF 기존 PDF 문서를 수정하고 변경하기 위한 포괄적인 기능을 제공합니다. 개발자는 여러 PDF 파일을 병합하거나, 개별 문서로 분리하거나, 페이지를 삭제하거나, 책갈피, 주석, 워터마크를 추가하는 등 다양한 기능을 활용하여 요구 사항에 맞게 PDF를 사용자 지정할 수 있습니다.

IronPDF 설치 방법

컴퓨터에 Python이 설치되어 있는지 확인한 후, pip를 사용하여 IronPDF 설치하세요.

pip install ironpdf

Scrapy와 IronPDF 사용한 프로젝트

스파이더를 정의하려면, Scrapy 프로젝트의 스파이더 디렉토리(myproject/myproject/spiders)에 새로운 Python 파일(예: example.py)을 생성하십시오. URL에서 인용구를 추출하는 기본적인 스파이더 코드 예시입니다.

import scrapy
from IronPdf import *

class QuotesSpider(scrapy.Spider):
    name = 'quotes'
    # Web page link
    start_urls = ['http://quotes.toscrape.com']

    def parse(self, response):
        quotes = []
        for quote in response.css('div.quote'):
            title = quote.css('span.text::text').get()
            content = quote.css('span small.author::text').get()
            quotes.append((title, content))  # Append quote to list

        # Generate PDF document using IronPDF
        renderer = ChromePdfRenderer()
        pdf = renderer.RenderHtmlAsPdf(self.get_pdf_content(quotes))
        pdf.SaveAs("quotes.pdf")

    def get_pdf_content(self, quotes):
        # Generate HTML content for PDF using extracted quotes
        html_content = "<html><head><title>Quotes</title></head><body>"
        for title, content in quotes:
            html_content += f"<h2>{title}</h2><p>Author: {content}</p>"
        html_content += "</body></html>"
        return html_content

import scrapy
from IronPdf import *

class QuotesSpider(scrapy.Spider):
    name = 'quotes'
    # Web page link
    start_urls = ['http://quotes.toscrape.com']

    def parse(self, response):
        quotes = []
        for quote in response.css('div.quote'):
            title = quote.css('span.text::text').get()
            content = quote.css('span small.author::text').get()
            quotes.append((title, content))  # Append quote to list

        # Generate PDF document using IronPDF
        renderer = ChromePdfRenderer()
        pdf = renderer.RenderHtmlAsPdf(self.get_pdf_content(quotes))
        pdf.SaveAs("quotes.pdf")

    def get_pdf_content(self, quotes):
        # Generate HTML content for PDF using extracted quotes
        html_content = "<html><head><title>Quotes</title></head><body>"
        for title, content in quotes:
            html_content += f"<h2>{title}</h2><p>Author: {content}</p>"
        html_content += "</body></html>"
        return html_content

위의 Scrapy 프로젝트 코드 예제에서는 IronPDF IronPDF 하여 Scrapy로 추출한 데이터를 기반으로 PDF 문서를 생성합니다.

여기서 스파이더의 parse 메서드는 웹페이지에서 인용구를 수집하고, get_pdf_content 함수를 사용하여 PDF 파일용 HTML 콘텐츠를 생성합니다. 이 HTML 자료는 IronPDF를 사용하여 PDF 문서로 렌더링되며 quotes.pdf으로 저장됩니다.