Gunther Oracle APEX und Datenbank Wiki

Aufgabe : Verträge liegen in PDF Formaten vor und müssen über eine AI Service ausgewertet werden

Da die Verträge teilweise eingescannt sind muss eine „echte OCR“ das auswerten.

Alternative direkt über die Datenbank Filter Oracle Text für die Indizierung binärer Daten verwenden

Daher wird nun das OpenSource Projekt docling getestet ob hier sich mit den vorhandenen Dokumenten gute Daten erzielen lasssen ⇒ Siehe dazu auch https://github.com/docling-project/docling

Folgender Ablauf soll dann in der produktiven Umgebung damit umgesetzt werden:

1. Freigebenes Verzeichnis /data/dokumente/IN ⇐ hier wird eine zu verarbeitendes Dokument eingestellt
2. Job der das IN Verzeichnis überwacht
3. Job erkennt neue Datei und startet Verarbeitung
   1. Auslesen des Textes mit docling
   2. Hochladen json Text und der PDF Datei in den Doc Store in der Oracle Cloud mit einem Rest Service
   3. Nach der Verarbeitung verschieben nach /data/dokumente/DONE

Ablauf:

• Oracle Linux 9 Basis System installiert
• User OCR angelegt
• Docling installiert
• IN Verzeichnis zur Verfügung stellen
• Job für die Überwachung neuer Dateien
• Script für das Umwandeln in Text
• Script für den Upload in die Cloud

Oracle Linux 9 - Grundinstallation, ohne X ähnlich wie Ein Oracle Linux 8 Basis System als Grundlagen für eine Oracle Clusterware und Datenbank Installation vorbereiten

Weiteres installieren:

dnf install python pip

User für den Dokumenten Prozess anlegen

groupadd -g 1200 dokumente
 
useradd -u 1300 -g dokumente  ocr
passwd ocr

Zugriff auf die folgenden Urls sicherstellen (falls Maschine hinter einer APP Firewall)

• pypi.org/simple/ (Index für Paketlisten)
• pypi.org/pypi (Metadaten-API)
• files.pythonhosted.org (Download der Paketdateien)
• bootstrap.pypa.io (Für get-pip.py und pip-Upgrade)
• github.com
• *.github.io
• raw.githubusercontent.com/ (für Pakete direkt aus GitHub-Repos)
• unpkg.com

Für die Modelle im Default:

• modelscope.cn
• huggingface.co

su - ocr
 
 
pip install docling

Erster Aufruf wirft Fehler:

docling https://baden-wuerttemberg.igmetall.de/dam/jcr:6e9b30ad-fd75-4005-b498-1be430baf604/ME_Industrie_NWNB_Montageabkommen.pdf
..
ImportError: libGL.so.1: cannot open shared object file: No such file or directory
..

Lösung:

pip uninstall -y opencv-python opencv-python-headless && pip install opencv-python-headless

Aufruf:

docling --to json  --no-show-layout https://baden-wuerttemberg.igmetall.de/dam/jcr:6e9b30ad-fd75-4005-b498-1be430baf604/ME_Industrie_NWNB_Montageabkommen.pdf

Installation:

• https://docling-project.github.io/docling/getting_started/installation/

Doku:

• https://app.dosu.dev/097760a8-135e-4789-8234-90c8837d7f1c/ask?utm_source=github

Web:

• https://medium.com/@hari.haran849/docling-overview-b456139f3d04
• https://research.ibm.com/publications/docling-an-efficient-open-source-toolkit-for-ai-driven-document-conversion
• https://www.redhat.com/en/blog/docling-missing-document-processing-companion-generative-ai
• https://www.youtube.com/watch?v=zSCxbqgqeJ8