Posts by sturmtruppe

Ich habe einen HP Microserver mit Debian/Openmediavault auf dem unter anderem knap 20k Dokumente (Studien, Artikel, Fachbücher, Arbeiten, Konzepte, Leitlinien, Habilitationen etc.) liegen. Diese sind überwiegend nicht nachvollziehbar benannt (zb random nummern als dateiname).

Diese liegen auf einem von ausserhalb nicht zugängigem smb share hinter einem ansonsten ausserhalb des netzwerks zugänglichen nginx reverse proxy auf dem Server mit einer vorhandenen domain, im selben netzwerk habe ich auch einen rpi5 mit dem AI HAT 26TOPS, 256gb sd karte (2 partitionen, root und 150gb daten als ext4), 256gb usb speicher (erweiterbar auf 3tb bei bedarf) und raspbian OS headless mit VNC, ssh und raspi connect.

Dieser soll in einem ersten Arbeitsschritt via cronjob regelmässig .pdfs aus einem omv-share auf die datenpartition bewegen. Dort soll das Dokument mit paddleOCR analysiert und dann an MOLE (oder spaCy?) weitergereicht werden.

Im zweiten Schritt möchte ich die Dokumente automatisiert nach ihrem Inhalt benennen (z.B. bei studien titel und autor, bei artikeln etc der titel) und auf einem omv share ablegen. Diese möchte ich mit einem paperless server überwachen und per webui indexieren und durchsuchen können. Ich weiss noch nicht ob ich lieber mit Open Semantic Framework/Search arbeiten möchte - ich bitte um Tipps.

Die .pdfs im Ordner mit den aufbereiteten Dokumenten auf dem Pi (der ja den gleichen Inhalt hat wie der omv share der via webui erreichbar ist) sollen mit einer LLM wie zb LLaMA 3 rein on premise mit prompts "verarbeitet", bzw durchsucht werden können - über ein webUI dass ich hinter den nginx reverse proxy auf dem omv schalten möchte.

Ziel ist im Endeffekt neben einerseits der automatisierten Archivierung und Verwaltung meiner Bibliothek auch dass ich von unterwegs meine eigene Bibliothek mit prompts nach komplexeren Fragestellungen durchsuchen kann.

Ein Gedanke den ich auch noch habe, ist ob ich die LLM an den Dokumenten trainieren lassen könnte, ich hab mich damit aber noch nicht wirklich auseinander gesetzt also weiss ich nicht mal ob das sinnvoll wäre.

Ich brauch noch Entscheidungshilfen und Ideen bei der Auswahl der Software und Modelle. Für mich stellt sich auch die Frage ob ich eine Vollversion mit Desktop auf dem Pi laufen lassen muss wenn ich ihn sowieso als headless betreiben möchte, ich stelle mir aber die Einrichtung mit einem Desktop leichter vor, auf diesen kann ich ja auch mit VNC oder connect zugreifen, auch bei kleinen Wartungsarbeiten im Betrieb. Ich weiss allerdings nicht ob der reine Betrieb in der Konsole wirklich merkbar Ressourcen für meine Belange einsparen würde, die schwere Arbeit leistet schliesslich die AI HAT.

Hej,

gleich vorweg gesagt bin ich interessierter und versierter Anwender und Laie und habe Beruflich nichts mit IT zu tun, daher kanns gut sein dass ich etwas für andere sehr offensichtliches übersehe oder falsch plane, in dem Fall bitte nicht gemein sein

Ich hab hier 2 alte Synology NAS und einen RBP4b die ich gerne zu einem ordentlichen geteilten Arbeitplatz machen würde für Uni und Arbeitsprojekte.

Idee wäre, den RB entweder mit Ubuntu Mate oder Server in der DMZ des routers, aufrufbar über die domain xxxxx.ch eine nextcloud aufzusetzen, eventuell lade ich grössere Datenbanken auf einen Stick falls nötig, ansonsten sollen so wenig daten wie möglich auf dem rbp liegen, nur das aller nötigste ist installiert.

Im Hintergrund läuft eine DS118j mit 1x4TB, ich bin mir noch nicht sicher, ob ich die DS auch übers Internet unter der subdomain xxx.xxxxx.ch erreichbar machen will oder nur Lokal über VPN, wenn ich sie direkt im Internet hab, würe ich auch den eingebauten openVPN server verwenden und das Interface über einen vHost auf SSL port 443 abrufen.

Wenn ich den Zugriff nur über eine zuerst zum RBP hergestellte openVPN Verbindung zulasse, würde ich den NAS rein zur Datenverwaltung und Backups im Hintergrund und als lokalen Medienserver zum Streamen zum TV verwenden. Die DS würde dann 1x tgl ein komplettes Backup (exkl. Medienserver) via rsync auf die zweite DS (eine 216 mit 2x2TB RAID) spielen und parallel dazu die wichtigsten Dokumente verschlüsselt auf einem google drive ausserhalb der Augen Googles lagern.

Die Laufwerke würde ich dann via SMB in der NextCloud auf dem PI mounten und so den Zugriff von ausserhalb ermöglichen.

Was mir noch nicht ganz klar ist ist wie ich das mit den Downloads direkt auf den NAS mache, ich denke, ich werde entweder die Download Station vom NAS verwenden oder einen Transmission client und couchpotatoe via subdomain erreichbar machen. Ersteres hätte den Vorteil, dass ich schon eine gut funktionierende Handy- und Desktop App hätte.

Allein von der Komplexizität her würde ich es gerne vermeiden, den document server für Collabora auf dem NAS laufen lassen zu müssen und würde lieber auf dem RBP einen mit reverse proxy erreichbaren collabola server laufen lassen und die clientsoftware gleich auf dem RBP in die nextcloud einbauen. Wichtig ist noch dass der RBP unbedingt headless laufen muss auf dauer, zum EInrichten kann er von mir aus einen Monitor brauchen müssen, dann aber nicht mehr.

Ziel nochmal kurz gefasst ist, dass ich einerseits meine Daten sicher und unter meiner Kontrolle gelagert hab, eine einfache und trotzdem umfassende Rechteverwaltung habe, die im Endeffekt leider gerade im Bezug auf interkompatibilität (intel vs. ARM) und die doppelte Rechteverwaltung zuerst über die nextcloud und dann über die DS recht komplex wird. Ich möchte im lokalen Netzwerk meinen Video Ordner auf dem NAS streamen können und diesen weiterhin automatisierte downloadaufträge abarbeiten lassen sowie Backups intern als rsync und als vollverschlüsselte Datei in der kommerziellen cloud lagert, und die Ordner auch mit mobilen Endgeräten syncronisieren kann. Ich möchte gleichzeitig meinen Arbeitskollegen und Komilitonen für gemeinsame Projekte und Arbeiten einen möglichst umfangreichen geteilten Arbeitsplatz mit gemeinsamer online Dokumentenbearbeitung und Gruppenordnern sowie (video-)chat und konferenzen und einfacher Gruppenrechteverwaltung zur verfügung stellen.

Ich habe neben der Hardware noch eine zertifizierte top level domain mit konfiguriertem DDNS, eine (grossteils) statische IP und einen räudigen Router zur Hand. Eine klitzekleine Notwendigkeit gibt es auch noch: am RBP hängt nebenbei ein 7.1 soundsystem über einer externen soundkarte die als a2dp sink angesteuert wird, hierfür würde ich mit bluealsa arbeiten.

Habt ihr Ideen zur Umsetzung oder Verbesserung? Ist das überhaupt eine sinnvolle Lösung für meine Anforderungen oder gibts da was deutlich effizienteres? Hab ich irgendwo gröbere Denkfehler oder übersehe etwas?

Danke für's Lesen und lG