fastparquet python (Wie es für Entwickler funktioniert)

Lesen und Schreiben von Parquet-Dateien

Einfaches Lesen von und Schreiben zu Parquet-Dateien und anderen Datendateien.

Integration mit Pandas und Dask

Nahtlose Arbeit mit Pandas DataFrames und Dask für parallele Verarbeitung.

Unterstützung für Komprimierung

Unterstützt verschiedene Kompressionsalgorithmen wie gzip, snappy, brotli, lz4 und zstandard in Datendateien.

Effiziente Speicherung

Optimiert für sowohl Speicherung als auch Abruf großer Datensätze oder Datendateien mithilfe des Parquet-säulenbasierten Dateiformats und Metadatendateien, die auf die Datei verweisen.

Installation

Sie können fastparquet mit pip installieren:

pip install fastparquet

pip install fastparquet

Oder mit conda:

conda install -c conda-forge fastparquet

conda install -c conda-forge fastparquet

Grundlagen

import pandas as pd

# Create a sample DataFrame
df = pd.DataFrame({
    'name': ['Alice', 'Bob', 'Charlie'],
    'age': [25, 30, 35],
    'city': ['New York', 'Los Angeles', 'Chicago']
})

# Write the DataFrame to a Parquet file
df.to_parquet('example.parquet', engine='fastparquet')

# Display confirmation message
print("DataFrame successfully written to 'example.parquet'.")

import pandas as pd

# Create a sample DataFrame
df = pd.DataFrame({
    'name': ['Alice', 'Bob', 'Charlie'],
    'age': [25, 30, 35],
    'city': ['New York', 'Los Angeles', 'Chicago']
})

# Write the DataFrame to a Parquet file
df.to_parquet('example.parquet', engine='fastparquet')

# Display confirmation message
print("DataFrame successfully written to 'example.parquet'.")

Ausgabe

import pandas as pd

# Read a Parquet file
df = pd.read_parquet('example.parquet', engine='fastparquet')

# Display the DataFrame
print(df.head())

import pandas as pd

# Read a Parquet file
df = pd.read_parquet('example.parquet', engine='fastparquet')

# Display the DataFrame
print(df.head())

Anzeigen von Parquet-Dateimetadata

import fastparquet as fp

# Reading metadata from Parquet file
meta = fp.ParquetFile('example.parquet').metadata
print("Parquet file metadata:")
print(meta)

import fastparquet as fp

# Reading metadata from Parquet file
meta = fp.ParquetFile('example.parquet').metadata
print("Parquet file metadata:")
print(meta)

Ausgabe

Verwendung von Dask für parallele Verarbeitung

fastparquet integriert sich gut mit Dask für die Bearbeitung großer Datensätze in Parallelverarbeitung:

import dask.dataframe as dd

# Read a Parquet file into a Dask DataFrame
ddf = dd.read_parquet('example.parquet', engine='fastparquet')

# Perform operations on the Dask DataFrame
result = ddf.groupby('name').mean().compute()

# Display the result
print(result)

import dask.dataframe as dd

# Read a Parquet file into a Dask DataFrame
ddf = dd.read_parquet('example.parquet', engine='fastparquet')

# Perform operations on the Dask DataFrame
result = ddf.groupby('name').mean().compute()

# Display the result
print(result)

Anpassen der Komprimierung

Sie können beim Schreiben von Parquet-Dateien verschiedene Kompressionsalgorithmen angeben:

import pandas as pd

# Create a sample DataFrame
df = pd.DataFrame({
    'name': ['Alice', 'Bob', 'Charlie'],
    'age': [25, 30, 35]
})

# Write the DataFrame to a Parquet file with gzip compression
df.to_parquet('example.parquet', engine='fastparquet', compression='gzip')

import pandas as pd

# Create a sample DataFrame
df = pd.DataFrame({
    'name': ['Alice', 'Bob', 'Charlie'],
    'age': [25, 30, 35]
})

# Write the DataFrame to a Parquet file with gzip compression
df.to_parquet('example.parquet', engine='fastparquet', compression='gzip')

IronPDF ist eine robuste Python-Bibliothek, die für das Erstellen, Ändern und digitale Signieren von PDF-Dokumenten entwickelt wurde, die von HTML, CSS, Bildern und JavaScript abgeleitet sind. Es überzeugt durch Leistung und behält gleichzeitig einen minimalen Speicherbedarf bei. Hier sind seine Hauptfunktionen:

1. HTML-zu-PDF-Umwandlung

Konvertieren Sie HTML-Dateien, HTML-Strings und URLs in PDF-Dokumente mit IronPDF. Zum Beispiel mühelos Webseiten in PDFs rendern mit dem Chrome PDF-Renderer.

2. Plattformübergreifende Unterstützung

Kompatibel mit Python 3+ unter Windows, Mac, Linux und verschiedenen Cloud-Plattformen. IronPDF ist auch für .NET-, Java-, Python- und Node.js-Umgebungen zugänglich.

3. Bearbeiten und Signieren

Ändern Sie die Dokumenteigenschaften, erhöhen Sie die Sicherheit mit Passwortschutz und Berechtigungen und integrieren Sie digitale Signaturen in Ihre PDFs mit IronPDF.

4. Seitenschablonen und Einstellungen

Passen Sie PDFs mit benutzerdefinierten Kopfzeilen, Fußzeilen, Seitenzahlen und anpassbaren Rändern an. Es unterstützt responsive Layouts und bietet die Möglichkeit, benutzerdefinierte Papiergrößen anzupassen.

5. Einhaltung von Standards

Es erfüllt PDF-Standards wie PDF/A und PDF/UA. Es verarbeitet UTF-8-Zeichencodierung und verwaltet effektiv Assets wie Bilder, CSS-Stilblätter und Schriftarten.

IronPDF für Python Voraussetzungen

1. IronPDF stützt sich auf .NET 6.0 als seine zugrunde liegende Technologie. Stellen Sie daher sicher, dass .NET 6.0 Runtime auf Ihrem System installiert ist.
2. Python 3.0+: Stellen Sie sicher, dass Sie Python Version 3 oder höher installiert haben.
3. pip: Installieren Sie den Python-Paketmanager pip für die Installation des IronPDF-Pakets.

Installation

# Install latest version of the libraries
pip install fastparquet
pip install pandas
pip install ironpdf

# Install latest version of the libraries
pip install fastparquet
pip install pandas
pip install ironpdf

Beispielcode

Das folgende Codebeispiel zeigt die Verwendung von fastparquet und IronPDF zusammen in Python:

import pandas as pd
import fastparquet as fp
from ironpdf import ChromePdfRenderer, License

# Apply your license key for IronPDF
License.LicenseKey = "your Key"

# Sample DataFrame
data = {
    'name': ['Alice', 'Bob', 'Charlie'],
    'age': [25, 30, 35],
    'city': ['New York', 'Los Angeles', 'Chicago']
}
df = pd.DataFrame(data)

# Writing DataFrame to a Parquet file
fp.write('example.parquet', df)

# Reading from Parquet file into DataFrame
df_read = fp.ParquetFile('example.parquet').to_pandas()

# Displaying the read DataFrame
print("Original DataFrame:")
print(df)
print("\nDataFrame read from Parquet file:")
print(df_read)

# Initialize a ChromePdfRenderer instance
renderer = ChromePdfRenderer()

# Create a PDF from a HTML string using IronPDF
content = "<h1>Awesome Iron PDF with FastParquet</h1>"
content += "<p> Original DataFrame:</p>"
content += "<p>" + f"{str(df)}" + "</p>"
content += "<p> DataFrame read from Parquet file:</p>"
content += "<p>" + f"{str(df_read)}" + "</p>"

# Render the HTML content to a PDF
pdf = renderer.RenderHtmlAsPdf(content)

# Export the PDF to a file
pdf.SaveAs("Demo-FastParquet.pdf")

import pandas as pd
import fastparquet as fp
from ironpdf import ChromePdfRenderer, License

# Apply your license key for IronPDF
License.LicenseKey = "your Key"

# Sample DataFrame
data = {
    'name': ['Alice', 'Bob', 'Charlie'],
    'age': [25, 30, 35],
    'city': ['New York', 'Los Angeles', 'Chicago']
}
df = pd.DataFrame(data)

# Writing DataFrame to a Parquet file
fp.write('example.parquet', df)

# Reading from Parquet file into DataFrame
df_read = fp.ParquetFile('example.parquet').to_pandas()

# Displaying the read DataFrame
print("Original DataFrame:")
print(df)
print("\nDataFrame read from Parquet file:")
print(df_read)

# Initialize a ChromePdfRenderer instance
renderer = ChromePdfRenderer()

# Create a PDF from a HTML string using IronPDF
content = "<h1>Awesome Iron PDF with FastParquet</h1>"
content += "<p> Original DataFrame:</p>"
content += "<p>" + f"{str(df)}" + "</p>"
content += "<p> DataFrame read from Parquet file:</p>"
content += "<p>" + f"{str(df_read)}" + "</p>"

# Render the HTML content to a PDF
pdf = renderer.RenderHtmlAsPdf(content)

# Export the PDF to a file
pdf.SaveAs("Demo-FastParquet.pdf")

Code-Erklärung