Powolne stemple w bardzo dużych plikach PDF
Bezpieczenie kazdej strony bardzo duzego pliku PDF za jednym razem staje sie coraz wolniejsze w miare wykonywania zadania. W zgloszonym przypadku 20 000 stron ograniczeniem byla metoda uzyta do dzielenia dokumentu, a nie sama operacja bezpieczania.
Inżynierowie przypisali spowolnienie w przypadku 20 000 stron do metody dzielenia dokumentu, a nie do samej operacji bezpieczania. Szczegółowy mechanizm nie został niezależnie potwierdzony z notatkami deweloperów.
Poprawka polega na rekurencyjnym dzieleniu pliku PDF na małe części, bezpieczaniu każdej części (opcjonalnie w równoległych procesach pracowniczych) i scalaniu wyników w jeden plik.
Rozwiązanie
1. Rekurencyjnie podziel źródłowy plik PDF
Zalecane: dzielić na mniejsze części, aż każda część osiągnie lub przekroczy docelową liczbę stron. Zapisz kazda czesc na dysku, aby pamiec pozostawala niska, a pracownicy mogli indywidualnie pobierac pliki. Nazwa pliku przechowuje pierwsza strone czesci, co utrzymuje czesci w kolejnosci i pozwala na pozniejsze dodanie pieczeczi zalezne od stron.
using IronPdf;
using IronPdf.Editing;
static void SplitToFiles(PdfDocument doc, int startPage, int targetPages,
string outDir, List<string> files)
{
if (doc.PageCount <= targetPages)
{
// File name carries the chunk's first page (1-based).
string path = Path.Combine(outDir, $"chunk_{startPage:D6}.pdf");
doc.SaveAs(path);
files.Add(path);
return;
}
int mid = doc.PageCount / 2;
using (var left = doc.CopyPages(0, mid - 1))
SplitToFiles(left, startPage, targetPages, outDir, files);
using (var right = doc.CopyPages(mid, doc.PageCount - 1))
SplitToFiles(right, startPage + mid, targetPages, outDir, files);
}
// Usage
var chunkFiles = new List<string>();
using (var source = PdfDocument.FromFile("input.pdf"))
SplitToFiles(source, 1, 500, @"C:\temp\chunks", chunkFiles);
Rozmiar czesci 500 jest punktem wyjscia. Dopasuj do swoich dokumentów i sprzętu.
2. Bezpiecz kazda czesc
Otworz kazda czesc, zastosuj bezpieczenie i zapisz wynik do nowego pliku.
var stamper = new HtmlStamper("<div style='font-size:24px;color:red'>CONFIDENTIAL</div>")
{
VerticalAlignment = VerticalAlignment.Middle,
HorizontalAlignment = HorizontalAlignment.Center,
Opacity = 50
};
var stampedFiles = new List<string>();
foreach (string file in chunkFiles)
{
string outPath = file.Replace(".pdf", "_stamped.pdf");
using (var chunk = PdfDocument.FromFile(file))
{
chunk.ApplyStamp(stamper);
chunk.SaveAs(outPath);
}
stampedFiles.Add(outPath);
}
3. Przetwarzaj czesci rownolegle
Opcjonalnie: przypisz każdemu procesowi pracowniczemu własny fragment listy części. Testowy przypadek korzystał z 8 procesów pracowniczych na maszynie 16-rdzeniowej. Dostosuj liczbę pracowników do swojego sprzętu.
// In each worker process: workerIndex = 0..workerCount-1
var mySlice = chunkFiles.Where((f, i) => i % workerCount == workerIndex);
4. Scal zabezpieczone części w kolejności
var parts = stampedFiles.OrderBy(f => f)
.Select(f => PdfDocument.FromFile(f))
.ToList();
using (var merged = PdfDocument.Merge(parts))
{
merged.SaveAs("output.pdf");
}
parts.ForEach(p => p.Dispose());
Usuń tymczasowe pliki części po zakończeniu.
5. Oczekiwane czasy
Wyniki z testu 20 000 stron, jako przybliżony przewodnik:
- Dzielenie: okolo 6 minut
- Bezpieczenie i scalanie, jeden proces: okolo 6 minut
- Bezpieczenie i scalanie, 8 procesow: okolo 1,5 minuty
- Łączny czas równoległy: około 8 minut
Dzielenie stanowi największy koszt. Jeśli sam tworzysz plik PDF, rozważ produkcję go w częściach od samego początku i pomiń dzielenie.
6. Użyj tego samego wzorca do innych operacji na poziomie strony
Dziel, przetwarzaj, łącz działa dla każdej operacji traktującej każdą stronę niezależnie. Dobrze pasuje:
- Tekst, obraz, HTML i pieczeczi z kodami kreskowymi oraz znaki wodne
- Nagłówki i stopki HTML (ustaw
FirstPageNumber, aby numeracja pozostała ciągła) - Wymazanie tekstu na wszystkich stronach
- Znajdz-i-zamien tekst
- Kompresja obrazów i spłaszczenie formularzy
- Tła, przodówka i rotacja stron
Pieczeczi zalezne od strony, takie jak numery Batesa czy etykiety stron, wymagaja globalnej strony poczatkowej kazdej czesci. Odczytaj to z nazwy pliku czesci:
int firstPage = int.Parse(Path.GetFileNameWithoutExtension(file).Split('_')[1]);
for (int i = 0; i < chunk.PageCount; i++)
{
var bates = new TextStamper { Text = $"ABC{firstPage + i:D7}" };
chunk.ApplyStamp(bates, i);
}
Numer pierwszej strony jest analizowany z nazwy chunk_NNNNNN.pdf, a kazda strona otrzymuje przesuniecie pieczeczi od tej globalnej strony poczatkowej.
Tylko dzielenie, scalanie nie jest potrzebne:
- Wyciąganie tekstu do indeksowania wyszukiwania
- Rasteryzacja stron do obrazów
- Przygotowanie stron do OCR
Wykonaj te po scalaniu, nie na częściach:
- Podpisy cyfrowe (scalanie zmienia dokument i łamie podpisy na części)
- Hasla, uprawnienia i szyfrowanie
- Zakładki, konspekty i spisy treści
- Metadane dokumentu
- Konwersja do PDF/A lub PDF/UA
Typowe przypadki uzycia:
- Numeracja Batesa dla zestawów wykryć prawnych
- Znaki wodne KONFIDENTIALNE lub ROBOCZA na dużych archiwach
- Wyciągi zbiorowe lub faktury z kodami kreskowymi dla sortowania poczty
- Wymazanie danych osobowych w wyeksportowanych rekordach
- Zmniejszanie skanowanych archiwów przed długoterminowym przechowywaniem
Curtis Chau posiada tytuł licencjata z informatyki (Uniwersytet Carleton) i specjalizuje się w front-endowym rozwoju, z ekspertką w Node.js, TypeScript, JavaScript i React. Pasjonuje się tworzeniem intuicyjnych i estetycznie przyjemnych interfejsów użytkownika, Curtis cieszy się pracą z nowoczesnymi frameworkami i tworzeniem dobrze zorganizowanych, atrakcyjnych wizualnie podręczników.