pyarrow (Jak to działa dla programistów)

Najważniejsze cechy PyArrow

1. Format pamięci kolumnowej:

   PyArrow wykorzystuje kolumnowy format pamięci, który jest bardzo wydajny w przypadku operacji analitycznych wykonywanych w pamięci. Format ten pozwala na lepsze wykorzystanie pamięci podręcznej procesora i operacje wektorowe, co czyni go idealnym do zadań związanych z przetwarzaniem danych. PyArrow może efektywnie odczytywać i zapisywać dane w strukturach plików Parquet dzięki swojej kolumnowej naturze.

2. Interoperacyjność: Jedną z głównych zalet PyArrow jest jego zdolność do ułatwiania wymiany danych między różnymi językami programowania i systemami bez konieczności serializacji lub deserializacji. Jest to szczególnie przydatne w środowiskach, w których używa się wielu języków, takich jak nauka o danych i uczenie maszynowe.
3. Integracja z Pandas: PyArrow może służyć jako zaplecze dla Pandas, umożliwiając wydajną manipulację danymi i ich przechowywanie. Począwszy od wersji Pandas 2.0, możliwe jest przechowywanie danych w tablicach Arrow zamiast tablic NumPy, co może prowadzić do poprawy wydajności, zwłaszcza w przypadku danych typu string.
4. Obsługa różnych typów danych: PyArrow obsługuje szeroki zakres typów danych, w tym typy pierwotne (liczby całkowite, liczby zmiennoprzecinkowe), typy złożone (struktury, listy) oraz typy zagnieżdżone. Dzięki temu jest wszechstronny w obsłudze różnych rodzajów danych.
5. Odczyty bez kopiowania: PyArrow umożliwia odczyty bez kopiowania, co oznacza, że dane mogą być odczytywane z formatu pamięci Arrow bez ich kopiowania. Zmniejsza to obciążenie pamięci i zwiększa wydajność.

pip install pyarrow

pip install pyarrow

conda install pyarrow -c conda-forge

conda install pyarrow -c conda-forge

import pyarrow as pa
import pyarrow.dataset as pt

# Create a PyArrow table
data = [
    pa.array([1, 2, 3]),
    pa.array(['a', 'b', 'c']),
    pa.array([1.1, 2.2, 3.3])
]
table = pa.Table.from_arrays(data, names=['col1', 'col2', 'col3'])

# Display the table
print(table)

import pyarrow as pa
import pyarrow.dataset as pt

# Create a PyArrow table
data = [
    pa.array([1, 2, 3]),
    pa.array(['a', 'b', 'c']),
    pa.array([1.1, 2.2, 3.3])
]
table = pa.Table.from_arrays(data, names=['col1', 'col2', 'col3'])

# Display the table
print(table)

import pandas as pd
import pyarrow as pa

# Create a Pandas DataFrame
df = pd.DataFrame({
    'col1': [1, 2, 3],
    'col2': ['a', 'b', 'c'],
    'col3': [1.1, 2.2, 3.3]
})

# Convert the DataFrame to a PyArrow Table
table = pa.Table.from_pandas(df)

# Display the table
print(table)

import pandas as pd
import pyarrow as pa

# Create a Pandas DataFrame
df = pd.DataFrame({
    'col1': [1, 2, 3],
    'col2': ['a', 'b', 'c'],
    'col3': [1.1, 2.2, 3.3]
})

# Convert the DataFrame to a PyArrow Table
table = pa.Table.from_pandas(df)

# Display the table
print(table)

Zaawansowane funkcje

Przedstawiamy IronPDF

IronPDF to biblioteka dla języka Python, która ułatwia pracę z plikami PDF, umożliwiając wykonywanie zadań takich jak tworzenie, edycja i manipulowanie dokumentami PDF za pomocą kodu. Oferuje takie funkcje, jak generowanie plików PDF z HTML, dodawanie tekstu, obrazów i kształtów do istniejących plików PDF, a także wyodrębnianie tekstu i obrazów z plików PDF. Oto niektóre z kluczowych funkcji:

Generowanie dokumentów PDF przy użyciu IronPDF i PyArrow

pip install pyarrow ironpdf

import pandas as pd
import pyarrow as pa
from ironpdf import * 

# Apply your license key
License.LicenseKey = "license"

# Create a Pandas DataFrame
df = pd.DataFrame({
    'col1': [1, 2, 3],
    'col2': ['a', 'b', 'c'],
    'col3': [1.1, 2.2, 3.3]
})

# Convert the DataFrame to a PyArrow Table
table = pa.Table.from_pandas(df)

# Display the table
print(table)

#create a PDF renderer
renderer = ChromePdfRenderer()

# Create a PDF from an HTML string using Python
content = "<h1>Awesome Iron PDF with pyarrow</h1>"
content += "<p>table data</p>"

# Iterate over table rows
for row in table:
    # Access specific values in a row
    value_in_column1 = row[0]
    value_in_column2 = row[1]
    value_in_column3 = row[2]
    # Append row data to content
    content += "<p>"+str(value_in_column1)+","+str(value_in_column2)+","+str(value_in_column3)+"</p>"    

# Render the HTML content to a PDF
pdf = renderer.RenderHtmlAsPdf(content)

# Export to a file or stream
pdf.SaveAs("DemoPyarrow.pdf")

import pandas as pd
import pyarrow as pa
from ironpdf import * 

# Apply your license key
License.LicenseKey = "license"

# Create a Pandas DataFrame
df = pd.DataFrame({
    'col1': [1, 2, 3],
    'col2': ['a', 'b', 'c'],
    'col3': [1.1, 2.2, 3.3]
})

# Convert the DataFrame to a PyArrow Table
table = pa.Table.from_pandas(df)

# Display the table
print(table)

#create a PDF renderer
renderer = ChromePdfRenderer()

# Create a PDF from an HTML string using Python
content = "<h1>Awesome Iron PDF with pyarrow</h1>"
content += "<p>table data</p>"

# Iterate over table rows
for row in table:
    # Access specific values in a row
    value_in_column1 = row[0]
    value_in_column2 = row[1]
    value_in_column3 = row[2]
    # Append row data to content
    content += "<p>"+str(value_in_column1)+","+str(value_in_column2)+","+str(value_in_column3)+"</p>"    

# Render the HTML content to a PDF
pdf = renderer.RenderHtmlAsPdf(content)

# Export to a file or stream
pdf.SaveAs("DemoPyarrow.pdf")

from ironpdf import * 
# Apply your license key
License.LicenseKey = "key"

from ironpdf import * 
# Apply your license key
License.LicenseKey = "key"

Wnioski

PyArrow to wszechstronna i potężna biblioteka, która rozszerza możliwości języka Python w zakresie przetwarzania danych. Jego wydajny format pamięci, funkcje interoperacyjności oraz integracja z Pandas sprawiają, że jest to niezbędne narzędzie dla analityków danych i inżynierów. Niezależnie od tego, czy pracujesz z dużymi zbiorami danych, wykonujesz złożone operacje na danych, czy budujesz potoki przetwarzania danych, PyArrow oferuje wydajność i elastyczność niezbędną do skutecznego wykonywania tych zadań. Z drugiej strony IronPDF to solidna biblioteka Python, która upraszcza tworzenie, edycję i renderowanie dokumentów PDF bezpośrednio z poziomu aplikacji Python. Integruje się płynnie z istniejącymi frameworkami Python, umożliwiając programistom dynamiczne generowanie i dostosowywanie plików PDF. W połączeniu z pakietami PyArrow i IronPDF dla języka Python użytkownicy mogą z łatwością przetwarzać struktury danych i archiwizować je.

IronPDF zapewnia również obszerną dokumentację, która pomaga programistom w rozpoczęciu pracy, wraz z licznymi przykładami kodu, które pokazują jego potężne możliwości. Więcej szczegółów można znaleźć na stronach z dokumentacją i przykładami kodu.