信息圖標
跳過到頁腳內容
  1. IronPDF for Python
  2. IronPDF for Python 博客
  3. Python 幫助
  4. Beautiful Soup Python
PYTHON 幫助

使用 BeautifulSoup 在 Python 中的 Web 抓取

Curtis Chau
Curtis Chau
更新日期:

Python 開發者現在可以透過 Beautiful Soup 和 IronPDF 的組合來創建動態 PDF 並簡化網絡抓取。 開發者可以輕鬆且準確地從網絡來源中提取所有數據，這得益於 Beautiful Soup 在解析 HTML 和 XML 文件方面的出色能力。 同時，IronPDF 是一個功能強大的工具，具有流暢的集成和可靠的功能，可用於程式化地生成 PDF 文件。

這兩個強大的工具結合在一起，使開發者能夠自動執行創建發票、存檔內容和生成報告等流程，並且效率無與倫比。 我們將在此入門考察中深入探討 Beautiful Soup Python 庫和 IronPDF 的細微差別，突出它們分開的優點以及結合時的革命性潛力。 隨我們一起探索充分利用網絡抓取和 PDF 創建的機會，讓 Python 開發者期待已久。

Beautiful Soup Python (它如何為開發者工作): 圖1 - Beautiful Soup 主頁

HTML/XML 解析

Beautiful Soup 非常善於解析 HTML 標籤和 XML 文件，將它們轉化為可探索的解析樹。 它能夠輕鬆解決不正確的 HTML 元素，因此開發者在處理不完全的數據時無需擔心解析問題。

找到 HTML 頁面上的特定項目

Beautiful Soup 以用戶友好的導航技術，使查找 HTML 頁面上的特定項目變得簡單。 利用像 search, find_all 和 select 這樣的技術，開發者可以導航樹結構並根據標籤、屬性或 CSS 選擇器精確定位元素。

訪問標籤特性和內容

Beautiful Soup 提供了輕鬆的方法來檢索已定位在解析樹中的元素的特性和內容。 開發者可以獲取與標籤相關的任何自定義屬性，也可以獲取 href 屬性以及 class 和 id 等其他屬性。 為了進一步處理，他們還可以訪問元素的內部 HTML 元素或文本內容。

搜索和篩選

Beautiful Soup 擁有強大的搜索和篩選功能，讓開發者按照不同標準定位組件。 他們還可以使用正則表達式進行更複雜的匹配模式。 他們可以搜索特定標籤，並根據特性或 CSS 類篩選項目。 你可以進一步利用 requests 庫來獲取網頁進行解析。 通過這種靈活性，可以從 HTML/XML 文件中提取特定的數據。

導航解析樹

在文檔結構中，開發者可以在解析樹中向上、向下和橫向移動。 Beautiful Soup 允許訪問父元素、兄弟元素和子元素，使探索文檔層次結構變得更加容易。

數據提取

Beautiful Soup 的一個基本功能是能夠從 HTML 和 XML 文本中提取數據。 開發者可以輕鬆從網頁中提取文本、鏈接、照片、表格和其他內容項目。 通過集成導航、篩選和遍歷算法，他們可以從複雜的文檔中提取某些數據點或整個內容塊。

處理編碼和實體

Beautiful Soup 自動處理字符編碼和 HTML 網絡實體，確保文本數據在編碼問題或特殊字符的情況下正確處理。 此功能通過去除實體解碼或手動編碼轉換的需求，使得處理不同來源的網絡內容更加容易。

解析樹修改

Beautiful Soup 不僅便於提取，還允許開發者動態更改解析樹。 他們可以按需要重新組織文檔結構，添加、刪除或更改標籤和屬性，或添加新元素。 這一功能讓在文檔內部執行數據清理、內容擴充和結構更改等操作成為可能。

創建並配置 Beautiful Soup 用於 Python

選擇解析器

要處理 HTML 或 XML 文件，Beautiful Soup 需要解析器。 它默認使用 Python 的內建 html.parser。 為了獲得更好的效率或更高的特定文檔兼容性，你可以指定不同的解析器，比如 lxml 或 html5lib。 在構建 BeautifulSoup 對象的過程中，你可以提供解析器：

from bs4 import BeautifulSoup

# Specify the parser (e.g., 'lxml' or 'html5lib')
html_content = "<html>Your HTML content here</html>"
soup = BeautifulSoup(html_content, 'lxml')
from bs4 import BeautifulSoup

# Specify the parser (e.g., 'lxml' or 'html5lib')
html_content = "<html>Your HTML content here</html>"
soup = BeautifulSoup(html_content, 'lxml')
PYTHON

設置解析選項

Beautiful Soup 提供了幾個選項來改變解析操作的方式。 例如，你可以關閉將 HTML 實體轉換為 Unicode 字符的功能，或啟用更嚴格的解析選項。 當創建 BeautifulSoup 對象時，這些設置作為參數提供。 這是如何關閉實體轉換的示例：

from bs4 import BeautifulSoup

# Disable entity conversion
html_content = "<html>Your HTML content here</html>"
soup = BeautifulSoup(html_content, 'html.parser', convert_entities=False)
from bs4 import BeautifulSoup

# Disable entity conversion
html_content = "<html>Your HTML content here</html>"
soup = BeautifulSoup(html_content, 'html.parser', convert_entities=False)
PYTHON

編碼檢測

Beautiful Soup 自動嘗試確定文檔的編碼。 但有時，特別是當內容模糊或存在編碼問題時，你可能需要明確聲明編碼。 在創建 BeautifulSoup 對象時，可以選擇定義編碼：

from bs4 import BeautifulSoup

# Specify the encoding (e.g., 'utf-8')
html_content = "<html>Your HTML content here</html>"
soup = BeautifulSoup(html_content, 'html.parser', from_encoding='utf-8')
from bs4 import BeautifulSoup

# Specify the encoding (e.g., 'utf-8')
html_content = "<html>Your HTML content here</html>"
soup = BeautifulSoup(html_content, 'html.parser', from_encoding='utf-8')
PYTHON

輸出格式化

默認情況下，Beautiful Soup 會在解析內容中添加換行符和縮進，以便於閱讀。 另一方面，在構建 BeautifulSoup 對象時，你可以給 formatter 選項來改變輸出格式化。 比如關閉美化打印：

from bs4 import BeautifulSoup

# Disable pretty-printing
html_content = "<html>Your HTML content here</html>"
soup = BeautifulSoup(html_content, 'html.parser', formatter=None)
from bs4 import BeautifulSoup

# Disable pretty-printing
html_content = "<html>Your HTML content here</html>"
soup = BeautifulSoup(html_content, 'html.parser', formatter=None)
PYTHON

NavigableString 和 Tag 子類

你可以改變 Beautiful Soup 用於 NavigableString 和 Tag 對象的類。 這可以幫助擴展 Beautiful Soup 的能力或將其與其他庫集成。 在構建 BeautifulSoup 對象時，可以將 NavigableString 和 Tag 的子類作為參數傳入。

入門指南

什麼是 IronPDF？

IronPDF 是一個強大的 .NET 庫，用於程式化地創建、編輯和修改 C#、VB.NET 及其他 .NET 語言中的 PDF 文件。 它為許多應用程序提供了全面的功能集，使開發者可以動態創建高質量的 PDF，因而廣受歡迎。

Beautiful Soup Python (它如何為開發者工作): 圖2 - IronPDF 主頁

IronPDF 的特點

  • PDF 生成: 開發者可以使用 IronPDF 將 HTML 標籤、文本、圖片和其他文件格式轉換成 PDF，或從頭開始創建 PDF 文檔。 此功能對於動態創建報告、發票、收據及其他文件非常有用。
  • HTML 轉 PDF: IronPDF 允許開發者輕鬆將包含 JavaScript 和 CSS 樣式的 HTML 結構轉換成 PDF 文件。 這使得可以從 HTML 模板、網頁和動態生成的材料中創建 PDF。
  • 編輯和操作 PDF 文件: IronPDF 提供了廣泛的預先存在的 PDF 文件的編輯和操作功能。 開發者可以合併多個 PDF 文件，將它們分割成單獨的文檔、提取頁面並添加書籤、註釋和水印等內容來根據他們的規格更改 PDF。

安裝

首先必須安裝 IronPDF 和 Beautiful Soup。可以使用 Python 的包管理器 Pip 來實現這一點。

pip install beautifulsoup4 
pip install ironpdf
pip install beautifulsoup4 
pip install ironpdf
SHELL

導入庫

然後，使用所需的庫來導入你的 Python 腳本。

from bs4 import BeautifulSoup
from ironpdf import IronPdf
from bs4 import BeautifulSoup
from ironpdf import IronPdf
PYTHON

使用 Beautiful Soup 進行網頁抓取

利用 Beautiful Soup 從網站中提取信息。假設我們希望從網頁中獲取文章的標題和內容。

# HTML content of the article
html_content = """
<html>
<head>
<title>Hello</title>
</head>
<body>
<h1>IronPDF</h1>
<p>This is a sample content of the article.</p>
</body>
</html>
"""
# Create a BeautifulSoup object
soup = BeautifulSoup(html_content, 'html.parser')

# Extract title and content
title = soup.find('title').text
content = soup.find('h1').text + soup.find('p').text

print('Title:', title)
print('Content:', content)
# HTML content of the article
html_content = """
<html>
<head>
<title>Hello</title>
</head>
<body>
<h1>IronPDF</h1>
<p>This is a sample content of the article.</p>
</body>
</html>
"""
# Create a BeautifulSoup object
soup = BeautifulSoup(html_content, 'html.parser')

# Extract title and content
title = soup.find('title').text
content = soup.find('h1').text + soup.find('p').text

print('Title:', title)
print('Content:', content)
PYTHON

使用 IronPDF 生成 PDF

現在讓我們利用 IronPDF 創建一個 PDF 文檔，包含提取的數據。

from ironpdf import IronPdf, ChromePdfRenderer

# Initialize IronPDF
# Create a new PDF document
renderer = ChromePdfRenderer()
pdf = renderer.RenderHtmlAsPdf(
    "<html><head><title>{}</title></head><body><h1>{}</h1><p>{}</p></body></html>".format(title, title, content)
)

# Save the PDF document to a file
pdf.SaveAs("sample_article.pdf")
from ironpdf import IronPdf, ChromePdfRenderer

# Initialize IronPDF
# Create a new PDF document
renderer = ChromePdfRenderer()
pdf = renderer.RenderHtmlAsPdf(
    "<html><head><title>{}</title></head><body><h1>{}</h1><p>{}</p></body></html>".format(title, title, content)
)

# Save the PDF document to a file
pdf.SaveAs("sample_article.pdf")
PYTHON

這個腳本將抓取樣本文章的標題和文本信息，並將 HTML 數據存儲為一個名為 sample_article.pdf 的 PDF 文件，然後將其存儲在當前目錄中。

Beautiful Soup Python (它如何為開發者工作): 圖3 - 上述代碼的輸出示例

結論

最後，尋求優化數據提取和文檔創建工作流程的開發者會發現 Beautiful Soup Python 和 IronPDF 的強大組合。 IronPDF 的強大功能支持了專業級 PDF 文檔的動態生成，而 Beautiful Soup 的輕鬆解析技能支援了從網絡來源提取有用數據。

這兩個庫結合在一起，為開發者提供了自動化各種操作所需的資源，包括創建發票、報告和網絡抓取。 Beautiful Soup 和 IronPDF 之間的合作使開發者無論是從複雜的 HTML 代碼中提取數據，還是即時生成定制的 PDF 出版物，都能快速高效地實現他們的目標。

IronPDF 捆綁包的價格合理並配有終身許可證。 因為包的價格僅為 $799，它是一次性支付多個系統的費用，所以提供了極佳的價值。 許可證持有者可以隨時訪問在線工程支持。 關於收費的更多信息，請訪問網站。欲了解更多有關 Iron Software 的產品，請訪問此網站。

Curtis Chau
Curtis Chau
  立即與工程團隊聊天
技術作家

Curtis Chau 擁有卡爾頓大學計算機科學學士學位，專注於前端開發，擅長於 Node.js、TypeScript、JavaScript 和 React。Curtis 熱衷於創建直觀且美觀的用戶界面，喜歡使用現代框架並打造結構良好、視覺吸引人的手冊。

除了開發之外，Curtis 對物聯網 (IoT) 有著濃厚的興趣，探索將硬體和軟體結合的創新方式。在閒暇時間，他喜愛遊戲並構建 Discord 機器人，結合科技與創意的樂趣。

相關文章

30 天試用→完整產品。無限制。無需信用卡。 開始免費試用