PYTHON帮助

使用 Python 进行分布式计算

发布 2024年七月1日

分布式Python

在瞬息万变的技术领域，人们比以往任何时候都更需要可扩展的有效计算解决方案。对于涉及大量分布式数据处理、并发用户请求和计算要求苛刻的任务的工作而言，分布式计算正变得越来越必要。为了让开发人员充分利用分布式 Python，我们将在本篇文章中探讨其应用、原理和工具。

动态生成和修改 PDF 文档是网络开发领域的常见要求。以编程方式创建 PDF 的功能在即时创建发票、报告和证书时非常方便。

Python 广泛的生态和多功能性使其可以处理大量 PDF 库。 IronPDF` 是一个强大的解决方案，可帮助开发人员充分利用其基础设施，简化创建 PDF 的流程，并实现任务并行和分布式计算。

了解分布式 Python

从根本上说，分布式 Python 是将计算工作分割成小块，并在多个节点或处理单元之间进行分配的过程。这些节点可以是连接到网络的单个机器、系统内的单个 CPU 内核、远程对象、远程函数、远程或函数调用执行，甚至是单个进程内的单个线程。目的是通过并行化工作负载来提高性能、可扩展性和容错性。

Python 因其易用性、适应性和强大的库生态系统而成为分布式计算工作负载的最佳选择。 Python 为各种规模和用例的分布式计算提供了丰富的工具，从 "Celery"、"Dask "和 "Apache Spark "等强大的框架到 "multiprocessing "和 "threading "等内置模块，不一而足。

在深入探讨具体细节之前，让我们先来了解一下分布式 Python 的基本思想和理念：

并行与并发

并行性是指同时执行多个任务，而并发性是指处理多个任务，这些任务可能同时进行，但不一定是同时进行。根据手头的任务和系统设计，分布式 Python 将并行和并发都包括在内。

任务分配

并行和分布式计算的一个关键组成部分是在多个节点或处理单元之间分配工作。无论是在多个内核上并行执行计算程序中的函数，还是将数据处理流水线划分为更小的阶段，有效的工作分配对于优化整体性能、效率和资源使用都至关重要。

沟通与协调

在分布式系统中，节点之间的有效通信和协调对于促进远程功能执行的协调、复杂的工作流、数据交换和计算同步至关重要。

分布式 Python 程序受益于消息队列、分布式数据结构和远程过程调用等技术(RPC)使远程功能执行与实际功能执行之间的协调和沟通更加顺畅。

可靠性和防错

系统通过在不同机器上增加节点或处理单元来适应不断增长的工作负载的能力被称为可扩展性。相反，容错是指系统设计能够承受机器故障、网络分区和节点崩溃等故障，并仍能可靠运行。

为了保证分布式应用程序在多台机器上的稳定性和弹性，分布式 Python 框架经常包含容错和自动扩展功能。

分布式 Python 的应用

数据处理和分析： 可以使用分布式 Python 框架（如 "Apache Spark "和 "Dask"）并行处理大型数据集，这使得分布式 Python 应用程序可以大规模执行批处理、实时流处理和机器学习等活动。

使用微服务进行网络开发： 使用 Python 网络框架（如 "Flask "和 "Django"），结合分布式任务队列（如 "Celery"），可以创建可扩展的网络应用程序和微服务架构。网络应用程序可以轻松集成分布式缓存、异步请求处理和后台作业处理等功能。

科学计算与仿真： 高性能计算(高性能计算)Python强大的科学库生态系统和分布式计算框架使在机器集群上进行计算和并行仿真成为可能。应用领域包括金融风险分析、气候建模、机器学习应用以及物理学和计算生物学模拟。

**边缘计算和物联网(物联网)随着物联网设备和边缘计算设计的激增，分布式 Python 在处理传感器数据、协调边缘计算流程、共同构建分布式应用以及将分布式机器学习模型应用于边缘现代应用方面变得越来越重要。

创建和使用分布式 Python

使用 Dask-ML 进行分布式机器学习

一个名为 "Dask-ML "的强大库为涉及机器学习的工作扩展了并行计算框架 "Dask"。将任务分割到机器集群中的多个内核或处理器上，使 Python 开发人员能够以有效的分布式方式在庞大的数据集上训练和应用机器学习模型。

import dask.dataframe as dd
from dask_ml.model_selection import train_test_split
from dask_ml.xgboost import XGBoostClassifier
from sklearn.metrics import accuracy_score

# Load and prepare data (replace with your data loading logic)
df = dd.read_csv("training_data.csv")
X = df.drop("target_column", axis=1)  # Features
y = df["target_column"]  # Target variable

# Split data into training and testing sets
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2)

# Define and train the XGBoost model in a distributed fashion
model = XGBoostClassifier(n_estimators=100)  # Adjust hyperparameters as needed
model.fit(X_train, y_train)

# Make predictions on test data (can be further distributed)
y_pred = model.predict(X_test)

# Evaluate model performance (replace with your desired evaluation metric)
accuracy = accuracy_score(y_test, y_pred)
print(f"Model Accuracy: {accuracy}")

import dask.dataframe as dd
from dask_ml.model_selection import train_test_split
from dask_ml.xgboost import XGBoostClassifier
from sklearn.metrics import accuracy_score

# Load and prepare data (replace with your data loading logic)
df = dd.read_csv("training_data.csv")
X = df.drop("target_column", axis=1)  # Features
y = df["target_column"]  # Target variable

# Split data into training and testing sets
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2)

# Define and train the XGBoost model in a distributed fashion
model = XGBoostClassifier(n_estimators=100)  # Adjust hyperparameters as needed
model.fit(X_train, y_train)

# Make predictions on test data (can be further distributed)
y_pred = model.predict(X_test)

# Evaluate model performance (replace with your desired evaluation metric)
accuracy = accuracy_score(y_test, y_pred)
print(f"Model Accuracy: {accuracy}")

PYTHON

使用 Ray 的并行函数调用

在强大的分布式计算框架 Ray 的帮助下，您可以在集群的多个内核或计算机上并发执行 Python 函数或任务。通过使用 @ray.remote 装饰器，Ray 可以将函数指定为远程函数。之后，这些远程任务或操作可以在集群的 Ray Worker 上异步执行。

import ray
import numpy as np

# Define the Monte Carlo simulation function
@ray.remote
def simulate(seed):
    np.random.seed(seed)  # Set random seed for reproducibility
    # Perform your simulation logic here (replace with your specific simulation)
    # This example simulates a random walk and returns the final position
    steps = 1000
    position = 0
    for _ in range(steps):
        position += np.random.choice([-1, 1])
    return position

# Initialize Ray cluster (comment out if using existing cluster)
ray.init()

# Number of simulations to run
num_sims = 10000

# Run simulations in parallel using Ray's map function
simulations = ray.get([simulate.remote(seed) for seed in range(num_sims)])

# Analyze simulation results (calculate statistics like average final position)
average_position = np.mean(simulations)
print(f"Average final position: {average_position}")

# Shut down Ray cluster (comment out if using existing cluster)
ray.shutdown()

import ray
import numpy as np

# Define the Monte Carlo simulation function
@ray.remote
def simulate(seed):
    np.random.seed(seed)  # Set random seed for reproducibility
    # Perform your simulation logic here (replace with your specific simulation)
    # This example simulates a random walk and returns the final position
    steps = 1000
    position = 0
    for _ in range(steps):
        position += np.random.choice([-1, 1])
    return position

# Initialize Ray cluster (comment out if using existing cluster)
ray.init()

# Number of simulations to run
num_sims = 10000

# Run simulations in parallel using Ray's map function
simulations = ray.get([simulate.remote(seed) for seed in range(num_sims)])

# Analyze simulation results (calculate statistics like average final position)
average_position = np.mean(simulations)
print(f"Average final position: {average_position}")

# Shut down Ray cluster (comment out if using existing cluster)
ray.shutdown()

PYTHON

入门

什么是IronPDF？

我们可以借助著名的 "IronPDF for .NET "软件包在 .NET 程序中创建、修改和呈现 PDF 文档。使用 PDF 的方式多种多样：从根据 HTML 内容、照片或原始数据创建新的 PDF 文档，到从现有文档中提取文本和图像，将 HTML 页面转换为 PDF，以及在现有文档中添加文本、图像和形状。

IronPDF的简单和易用是它的两大优势。由于.NET 应用程序具有用户友好的 API 和丰富的文档，开发人员可以在其 .NET 应用程序中轻松制作 PDF。IronPDF` 的速度和效率是使开发人员更容易快速制作高质量 PDF 文档的又两大特点。

IronPDF 的几个优势

根据原始数据、图像和 HTML 创建 PDF。
从 PDF 文件中提取图像和文本。
在PDF文件中包含页眉、页脚和水印。
PDF 文件受密码和加密保护。
能够填写和签署电子文档。

使用 IronPDF 生成分布式 PDF

分布式 Python 框架（如 "Dask "和 "Ray"）可以在集群内的众多内核或计算机之间分配任务。该工具可在集群中并行执行 PDF 生成等复杂任务，并利用集群中的多个内核，从而大幅缩短创建大批 PDF 所需的时间。

首先使用 pip 安装 IronPDF 和 ray 库：

pip install ironpdf
pip install celery

下面是一些概念性 Python 代码，演示了使用 IronPDF 和 Python 生成分布式 PDF 的两种方法：

带有中央工作站的任务队列

中央工人(worker.py):

from ironpdf import *     
from celery import *

app = Celery('pdf_tasks', broker='pyamqp://')
app.autodiscover_tasks()

@app.task(name='generate_pdf')
def generate_pdf(data):
    print(data)
    renderer = ChromePdfRenderer()
    pdf = renderer.RenderHtmlAsPdf(str(data))
    pdf.SaveAs("output.pdf")
    return f"PDF generated for data {data}"

if __name__ == '__main__':
    app.worker_main(argv=['worker', '--loglevel=info', '--without-gossip', '--without-mingle', '--without-heartbeat', '-Ofair', '--pool=solo'])

from ironpdf import *     
from celery import *

app = Celery('pdf_tasks', broker='pyamqp://')
app.autodiscover_tasks()

@app.task(name='generate_pdf')
def generate_pdf(data):
    print(data)
    renderer = ChromePdfRenderer()
    pdf = renderer.RenderHtmlAsPdf(str(data))
    pdf.SaveAs("output.pdf")
    return f"PDF generated for data {data}"

if __name__ == '__main__':
    app.worker_main(argv=['worker', '--loglevel=info', '--without-gossip', '--without-mingle', '--without-heartbeat', '-Ofair', '--pool=solo'])

PYTHON

客户脚本(client.py):

from celery import Celery

app = Celery('pdf_tasks', broker='amqp://localhost')

def main():
    task = app.send_task('generate_pdf', args=("<h1>This is a sample PDF</h1>",))
    print(task.result)  # Wait for task completion and print result

if __name__ == '__main__':
    main()

from celery import Celery

app = Celery('pdf_tasks', broker='amqp://localhost')

def main():
    task = app.send_task('generate_pdf', args=("<h1>This is a sample PDF</h1>",))
    print(task.result)  # Wait for task completion and print result

if __name__ == '__main__':
    main()

PYTHON

Celery "是我们采用的任务队列系统。工作会被发送到中央工作站(Worker.py)此外，还要翻译包含 HTML 内容的数据字典。 Python 函数使用 IronPDF 创建 PDF 并以特殊文件名保存。

客户端脚本将包含示例数据的任务发送到队列中(客户端.py). 该脚本可以更改，以便从不同的计算机发送其他任务。

分布式 Python（如何为开发人员工作）：图 1