über mich

Hallo, ich bin Sascha Kall. Ich beschäftige mich schon seit vielen Jahren mit Softwareentwicklung, Computern und technischen Systemen. In der Gaming-Welt bin ich auch unter dem Namen „Nyral“ unterwegs.

Angefangen hat alles mit einem alten 386er meiner Eltern. Schon damals habe ich PCs auseinandergebaut, umgebaut und wieder zusammengesetzt. Mich hat immer interessiert, wie die einzelnen Komponenten funktionieren und wie man sie verbessern oder miteinander verbinden kann.

Dieses Interesse ist bis heute geblieben. Nur sind die Projekte inzwischen etwas umfangreicher geworden und reichen von der Softwareentwicklung über Netzwerke und Server bis hin zur Automatisierung und lokalen KI.

Beruflich habe ich ursprünglich im technischen Handwerk angefangen, bevor ich über das Games-Programming-Studium zur Softwareentwicklung gekommen bin. Meinen bisherigen Werdegang habe ich auf einer eigenen Seite zusammengefasst.

MEIN BERUFLICHER WEG

Mein Schwerpunkt liegt in der Entwicklung von Software, die häufig mit anderen Anwendungen, Geräten oder Serverdiensten kommuniziert. Dabei beschäftige ich mich nicht nur mit der eigentlichen Anwendung, sondern auch mit den Schnittstellen und der Infrastruktur dahinter.

Technische Schwerpunkte

Auch außerhalb meiner beruflichen Projekte beschäftige ich mich viel mit Technik. Einen großen Teil meiner Weiterbildung setze ich direkt in eigenen Projekten um. Dabei geht es mir nicht nur darum, neue Technologien auszuprobieren, sondern auch darum, sie sinnvoll miteinander zu verbinden und dauerhaft zu betreiben.

Wenn ich mich mit einer neuen Aufgabe beschäftige, versuche ich zuerst zu verstehen, wie das gesamte System zusammenhängt. Gerade bei Problemen, an denen mehrere Komponenten beteiligt sind, ist das oft wichtiger, als nur an einer einzelnen Stelle nach einem Fehler zu suchen.

Ich arbeite gerne eigenständig und strukturiert, tausche mich aber ebenso gerne mit anderen über technische Lösungen aus. Neue Technologien probiere ich nach Möglichkeit praktisch aus, statt mich ausschließlich auf Dokumentation und Theorie zu verlassen.

Bei der Entwicklung und beim Betrieb achte ich darauf, dass die Systeme wartbar, nachvollziehbar und möglichst sicher aufgebaut sind. Dazu gehört für mich auch, mögliche Schwachstellen frühzeitig zu erkennen und nicht erst zu reagieren, wenn ein Problem auftritt.

Ein Beispiel für meine bisherige Entwicklungsarbeit ist das Projekt W3DO, an dem ich mitgewirkt habe. Dort kamen unterschiedliche technische Bereiche zusammen, die aufeinander abgestimmt werden mussten.

Beruflich möchte ich mich vor allem in der Software- und Backend-Entwicklung mit C#/.NET weiterentwickeln. Besonders interessieren mich Aufgaben, bei denen Softwareentwicklung, Systemintegration und Infrastruktur zusammenkommen.

Auch die Bereiche Platform Engineering, DevOps und lokale KI-Systeme möchte ich weiter vertiefen.

Dabei geht es mir weniger darum, möglichst viele Technologien einzusetzen. Interessanter finde ich es, für eine konkrete Aufgabe eine passende Lösung zu entwickeln und diese anschließend auch zuverlässig betreiben zu können.

MEINE PROJEKTE KONTAKT AUFNEHMEN

erfahrung

Mein beruflicher Weg hat im technischen Handwerk angefangen und mich später zur Softwareentwicklung geführt. Nach meiner Ausbildung zum Anlagenmechaniker SHK habe ich Games Programming studiert und mich zunehmend mit C#, Unity und der Entwicklung vernetzter Anwendungen beschäftigt.

Neben meiner beruflichen Tätigkeit setze ich seit 2016 auch eigene Projekte in unserer GbR um. Inzwischen beschäftigen mich neben der Softwareentwicklung vor allem Backend-Systeme, Netzwerke, Serverinfrastrukturen und Automatisierung.

Softwareentwicklung

Durch meine beruflichen und eigenen Projekte habe ich mit unterschiedlichen Anwendungen und Entwicklungsumgebungen gearbeitet. Besonders wichtig sind mir dabei verständlicher Code, wiederverwendbare Komponenten und eine nachvollziehbare Softwarestruktur.

Systemintegration

Viele Aufgaben enden nicht bei der eigentlichen Anwendung. Oft müssen unterschiedliche Geräte, Schnittstellen oder Dienste zusammenarbeiten. Gerade diese Verbindungen und die damit verbundenen technischen Probleme finde ich interessant.

Infrastruktur und Betrieb

In meinen eigenen Projekten kümmere ich mich auch um die Systeme, auf denen Anwendungen laufen. Dazu gehören Einrichtung, Updates, Monitoring, Backups und Sicherheit. So beschäftige ich mich nicht nur mit der Entwicklung, sondern auch mit dem späteren Betrieb.

Einige meiner bisherigen Arbeiten und eigenen Projekte habe ich im Portfolio zusammengestellt. Dort gibt es neben Softwareprojekten auch Beispiele aus der Geräteintegration und der Entwicklung mit Unity und .NET.

Eine Übersicht der Technologien, mit denen ich arbeite, gibt es unter Skills. Meine eigene Serverumgebung und die dazugehörigen Projekte stelle ich im Bereich Infrastruktur ausführlicher vor.

skills

Im Laufe der Jahre habe ich mit unterschiedlichen Programmiersprachen, Frameworks und Entwicklungswerkzeugen gearbeitet. Mein Schwerpunkt liegt auf C#/.NET und der Backend-Entwicklung. Daneben beschäftige ich mich intensiv mit Serverinfrastrukturen, Netzwerken, Systemintegration und Automatisierung.

Viele der Technologien nutze ich nicht nur in der Softwareentwicklung, sondern auch in eigenen Projekten. Dadurch beschäftige ich mich häufig mit der gesamten technischen Umgebung einer Anwendung – von der Programmierung über die Bereitstellung bis zum späteren Betrieb.

Je nach Projekt arbeite ich mit unterschiedlichen Entwicklungsumgebungen und Werkzeugen. Für mich gehört dazu nicht nur das Schreiben von Code, sondern auch die Verwaltung von Änderungen, die Fehlersuche und die Dokumentation.

Bei der Arbeit an neuen Themen probiere ich vieles direkt praktisch aus. Gerade bei komplexeren Problemen hilft es mir, die einzelnen Komponenten Schritt für Schritt zu überprüfen und die eigentliche Ursache zu finden.

Werkzeuge & Methoden

• Entwicklungsumgebungen: Visual Studio, Visual Studio Code, MonoDevelop
• Versionsverwaltung: Git, GitLab, SVN
• Projektorganisation: Jira, Confluence, Mantis, Scrum
• Fehleranalyse: Debugger, Logs, Netzwerkdiagnose
• Grafik & Prototyping: Figma, Photoshop, 3D-Werkzeuge
• Dokumentation: README-Dateien, technische Dokumentationen

MEINE PROJEKTE INFRASTRUKTUR PRIVATE AI

projekte

Im Laufe der Jahre sind einige Softwareprojekte und technische Systeme aus ganz unterschiedlichen Bereichen entstanden. Neben der Softwareentwicklung mit C#/.NET und Unity beschäftige ich mich intensiv mit Serverinfrastrukturen, Netzwerken und lokaler KI.

Hier habe ich meine Projekte in drei Bereiche aufgeteilt. Dazu gehören sowohl berufliche Entwicklungsarbeiten als auch eigene Anwendungen und Systeme, an denen ich arbeite oder mit denen ich neue Technologien ausprobiere.

Software & Entwicklung

Hier stelle ich einige meiner bisherigen Softwareprojekte vor. Dazu gehören Anwendungen mit C#/.NET, eigene Tools und Komponenten sowie Projekte aus den Bereichen Unity, VR und AR.

Bei den einzelnen Projekten beschreibe ich, worum es ging, welche Technologien zum Einsatz kamen und welche Aufgaben ich dabei übernommen habe. Darunter sind sowohl berufliche Entwicklungsarbeiten als auch eigene Projekte.

SOFTWAREPROJEKTE

Server & Infrastruktur

Ein großer Teil meiner eigenen Projekte beschäftigt sich mit dem Aufbau und Betrieb von Servern, Netzwerken und diversen Diensten. Dazu nutze ich unter anderem Proxmox, Docker und GitLab.

Neben der Einrichtung und Verwaltung der Systeme beschäftige ich mich auch mit Monitoring, Backups, Netzwerksicherheit und Automatisierung. Einige der Dienste entwickle oder erweitere ich dabei selbst.

INFRASTRUKTUR

Private AI – Lokale KI

Seit einiger Zeit beschäftige ich mich intensiv mit lokalen KI-Modellen, die ich auf eigener Hardware betreibe. Dafür nutze ich einen GPU-Server mit Qwen, llama.cpp und Open WebUI.

Neben der Einrichtung und Optimierung der Modelle interessiert mich vor allem deren Integration in andere Anwendungen und Automatisierungen. Dazu gehören auch meine aktuellen Versuche mit einer vollständig lokalen Sprachsteuerung.

LOKALE KI

Neben der Weiterentwicklung eigener Software beschäftige ich mich aktuell vor allem mit der Integration lokaler KI-Modelle, der Automatisierung unterschiedlicher Systeme und dem Ausbau meiner Serverinfrastruktur.

Viele dieser Arbeiten entstehen aus konkreten Anforderungen meiner eigenen Projekte. Dabei probiere ich neue Technologien aus, vergleiche verschiedene Lösungswege und entwickle funktionierende Systeme anschließend weiter.

kontakt

GitLab

Entwicklungsprojekte und Repositories

ZU MEINEM GITLAB

XING

Beruflicher Werdegang und Kontakte

ZU XING

LinkedIn

Berufliches Profil und Netzwerk

ZU LinkedIn

Sie haben eine Frage zu einem meiner Projekte oder möchten sich mit mir über ein technisches Thema austauschen? Dann schreiben Sie mir gerne eine Nachricht über das Kontaktformular.

private ai – locale KI

Seit einiger Zeit beschäftige ich mich intensiver mit lokaler KI und insbesondere mit dem Betrieb von KI-Modellen auf eigener Hardware. Mich interessiert dabei nicht nur, was die Modelle können, sondern auch, wie sie aufgebaut, betrieben und in eigene Anwendungen eingebunden werden können.

Dafür habe ich eine eigene KI-Umgebung eingerichtet, in der verschiedene Modelle und Werkzeuge lokal laufen. So kann ich unterschiedliche Konfigurationen ausprobieren, Modelle miteinander vergleichen und die Systeme an meine eigenen Anforderungen anpassen.

Ein wichtiger Punkt ist für mich, dass die Modelle möglichst lokal und unabhängig von externen Cloud-Diensten betrieben werden. Dadurch behalte ich die Kontrolle über die eingesetzte Hardware, die Konfiguration und die Verarbeitung der Daten.

Mein KI-Server

Dell Precision T7610

2 × NVIDIA RTX 3060
Je 12 GB Grafikspeicher
Intel Xeon E5-2687W v2

Modellbetrieb

Lokale GPU-beschleunigte Inferenz

Quantisierte Modelle
GPU-Speicherverwaltung
Containerisierte KI-Dienste

Als Grundlage verwende ich eine Dell Precision T7610 mit zwei NVIDIA RTX 3060, die jeweils über 12 GB Grafikspeicher verfügen.

Da der verfügbare GPU-Speicher begrenzt ist, beschäftige ich mich auch mit Modellgrößen, Quantisierung und der Verteilung der Berechnungen auf die Grafikkarten. Dabei probiere ich unterschiedliche Einstellungen aus, um größere Modelle möglichst sinnvoll auf meiner vorhandenen Hardware betreiben zu können.

Die dazugehörigen KI-Dienste laufen in einer eigenen Linux-Umgebung. Dadurch kann ich Modelle und Anwendungen getrennt verwalten und bei Bedarf unterschiedliche Konfigurationen testen.

Qwen & Sprachmodelle

Als Sprachmodelle verwende ich unter anderem Qwen in verschiedenen Varianten. Die Modelle laufen lokal und werden für unterschiedliche Aufgaben getestet, beispielsweise zur Textverarbeitung, Unterstützung bei der Programmierung und für technische Fragestellungen.

Schwerpunkte: Qwen · lokale LLMs · GGUF · Quantisierung

llama.cpp

Für die Ausführung meiner Sprachmodelle nutze ich llama.cpp mit GPU-Beschleunigung. Dabei beschäftige ich mich mit der Verteilung der Modelle auf beide Grafikkarten, der Kontextgröße und den verfügbaren Ressourcen.

Schwerpunkte: llama.cpp · CUDA · GPU-Offloading · Modellkonfiguration

Open WebUI

Mit Open WebUI habe ich eine eigene Weboberfläche für meine lokalen Sprachmodelle eingerichtet. Darüber kann ich die Modelle verwenden und unterschiedliche Einstellungen und Anwendungsfälle ausprobieren, ohne auf einen externen KI-Dienst angewiesen zu sein.

Schwerpunkte: Open WebUI · Chatoberfläche · Modellanbindung · APIs

Weitere KI-Werkzeuge

Neben Sprachmodellen beschäftige ich mich auch mit weiteren KI-Anwendungen. Dazu gehören ComfyUI für bildbasierte Workflows, SearXNG für die Suche und n8n zur Automatisierung unterschiedlicher Abläufe.

Mich interessiert besonders, wie sich diese Werkzeuge miteinander verbinden lassen.

Schwerpunkte: ComfyUI · SearXNG · n8n · Workflow-Integration

Meine KI-Umgebung besteht aus mehreren Komponenten, die jeweils unterschiedliche Aufgaben übernehmen. Während llama.cpp die Sprachmodelle ausführt, dient Open WebUI als Oberfläche für die direkte Nutzung.

Die Modelle werden über Schnittstellen bereitgestellt und können dadurch auch unabhängig von der Chatoberfläche angesprochen werden. Das ist für mich besonders interessant, weil sich KI-Funktionen so in eigene Programme und automatisierte Abläufe integrieren lassen.

Die einzelnen Dienste betreibe ich möglichst getrennt voneinander, damit ich Modelle austauschen oder Konfigurationen verändern kann, ohne die gesamte Umgebung neu aufbauen zu müssen.

Eine der Herausforderungen bei meiner lokalen KI-Umgebung ist der begrenzte Grafikspeicher. Gerade größere Sprachmodelle benötigen viel Speicher, sodass die Konfiguration der Modelle und die Verteilung auf die vorhandenen GPUs eine wichtige Rolle spielen.

Aktuell nutze ich unter anderem ein quantisiertes Qwen-Modell mit rund 27 Milliarden Parametern. Für die Ausführung verwende ich llama.cpp und verteile die benötigten Ressourcen auf meine beiden RTX 3060.

Dabei beschäftige ich mich mit unterschiedlichen Einstellungen wie Kontextgröße, Quantisierung, GPU-Offloading und parallelen Anfragen. Ziel ist es, die vorhandene Hardware möglichst sinnvoll zu nutzen und die Modelle stabil betreiben zu können.

Eingesetzte Technologien: Qwen · llama.cpp · GGUF · CUDA · NVIDIA RTX 3060 · Linux · Docker

Neben dem Betrieb meiner lokalen KI-Modelle beschäftige ich mich auch mit neuen Anwendungsmöglichkeiten. Besonders interessieren mich dabei die Sprachsteuerung, die Integration von KI in eigene Anwendungen und die Erstellung von 3D-Modellen. Einige dieser Ideen befinden sich noch in der Entwicklung, andere probiere ich bereits praktisch aus.

Lokale Sprachsteuerung

Aktuell beschäftige ich mich mit einer lokalen Sprachsteuerung für meine Hausautomatisierung. Dazu gehören Spracherkennung, Sprachausgabe und die Anbindung an openHAB und Home Assistant.

Ziel ist eine Lösung, die ohne externe Cloud-Dienste auskommt und über unterschiedliche Geräte genutzt werden kann.

Schwerpunkte: STT · TTS · openHAB · Home Assistant

KI-Integration in eigene Anwendungen

Neben der Nutzung über Open WebUI möchte ich meine lokalen KI-Modelle stärker in eigene Anwendungen integrieren. Dafür beschäftige ich mich mit APIs und automatisierten Abläufen.

Besonders interessant finde ich die Verbindung von KI mit vorhandenen Systemen, um wiederkehrende Aufgaben zu unterstützen oder zu automatisieren.

Schwerpunkte: REST APIs · C#/.NET · n8n · Automatisierung

KI-gestützte 3D-Erstellung

Ein weiteres Thema ist die Erstellung von 3D-Modellen mithilfe künstlicher Intelligenz. Besonders interessiert mich, wie sich aus mehreren Bildern ein verwendbares 3D-Modell erzeugen lässt.

Langfristig möchte ich solche Modelle für eigene Gestaltungsprojekte und den 3D-Druck einsetzen und verschiedene Verfahren miteinander vergleichen.

Schwerpunkte: Bild-zu-3D · 3D-Modelle · 3D-Druck · Modellgenerierung

Meine lokale KI-Umgebung ist Teil meiner eigenen Serverinfrastruktur und wird laufend erweitert. Neben dem Betrieb der Modelle beschäftige ich mich dabei auch mit der Softwareentwicklung, den benötigten Schnittstellen und der Automatisierung.

Weitere Informationen zur zugrunde liegenden Infrastruktur und zu meinen anderen Entwicklungsprojekten gibt es auf den entsprechenden Seiten.

technische projekte

Neben der Softwareentwicklung beschäftige ich mich schon seit vielen Jahren mit dem Aufbau und Betrieb einer eigenen Serverinfrastruktur. Was ursprünglich mit einzelnen Rechnern und verschiedenen Diensten angefangen hat, ist inzwischen zu einer umfangreicheren Serverumgebung geworden.

Die Infrastruktur nutze ich für eigene Entwicklungsprojekte, verschiedene Anwendungen und Automatisierungen. Dabei kümmere ich mich selbst um die Einrichtung, Wartung, Absicherung und Weiterentwicklung der Systeme.

Den größten Teil meiner Dienste betreibe ich auf mehreren eigenen Servern mit Proxmox VE. Dort laufen unterschiedliche virtuelle Maschinen und Container, die ich je nach Aufgabe voneinander trenne.

Ein Teil ist für die Softwareentwicklung vorgesehen, andere Systeme übernehmen Aufgaben wie Dateiverwaltung, Monitoring, Automatisierung oder die Bereitstellung von Webanwendungen.

Mir ist wichtig, dass die einzelnen Dienste möglichst unabhängig voneinander betrieben werden können. Dadurch lassen sich Anwendungen aktualisieren oder umstellen, ohne dass gleich die gesamte Umgebung betroffen ist.

Proxmox & virtuelle Maschinen

Für die Virtualisierung nutze ich Proxmox VE auf mehreren eigenen Servern. Darauf betreibe ich virtuelle Maschinen und LXC-Container mit unterschiedlichen Linux- und Windows-Systemen.

Die Ressourcen verteile ich je nach Aufgabe und Auslastung. Dazu gehören auch die Einrichtung neuer Systeme, Updates, Speicherverwaltung und die Fehlersuche bei Problemen.

Schwerpunkte: Proxmox VE · Proxmox PBS · KVM · LXC · Linux · Windows · Ressourcenverwaltung

Docker & Containerdienste

Viele meiner Anwendungen laufen in Docker-Containern, die ich mit Docker Compose und Portainer verwalte. Dabei trenne ich die Dienste nach ihren Aufgaben und verwende eigene Konfigurationen für die jeweiligen Anwendungen.

Neben der Bereitstellung gehören auch Updates, Volumes, Netzwerke und die Überwachung der Container dazu.

Schwerpunkte: Docker · Docker Compose · Portainer · Container-Netzwerke · Volumes · Deployments

Meine Server und Geräte befinden sich in unterschiedlichen Netzwerkbereichen. Mit VLANs und Firewall-Regeln trenne ich beispielsweise private Geräte, IoT-Systeme und Dienste, die von außen erreichbar sein müssen.

Für Routing, Firewall und VPN nutze ich unter anderem pfSense. Öffentlich erreichbare Anwendungen werden über Reverse Proxies bereitgestellt und nach Möglichkeit mit verschlüsselten Verbindungen abgesichert.

Bei der Einrichtung achte ich darauf, dass nur die tatsächlich benötigten Verbindungen erlaubt sind. Dazu gehören auch eingeschränkte Verwaltungszugänge, regelmäßige Updates und die Kontrolle der verwendeten Berechtigungen.

Auf meiner Infrastruktur laufen unterschiedliche Anwendungen, die ich für die Entwicklung, Verwaltung und Automatisierung einsetze. Einige davon sind öffentlich erreichbar, andere stehen ausschließlich innerhalb meines eigenen Netzwerks zur Verfügung.

Viele Dienste kommunizieren über APIs oder MQTT miteinander. Dadurch lassen sich Daten austauschen und Abläufe automatisieren, ohne für jede Aufgabe eine eigene Anwendung entwickeln zu müssen.

Entwicklung & DevOps

GitLab, Versionsverwaltung, CI/CD, eigene Entwicklungsdienste und Containerverwaltung.

GitLab · Git · Docker · Portainer

Cloud & Webanwendungen

Selbst gehostete Anwendungen für Dateien, Dokumente und die Verwaltung unterschiedlicher Daten.

ownCloud · Paperless · Webserver · Reverse Proxy

Automatisierung & Smart Home

Automatisierte Abläufe, Nachrichten, Geräteintegration und die Verbindung unterschiedlicher Systeme.

n8n · MQTT · openHAB · Home Assistant

Monitoring & Verwaltung

Überwachung von Servern, Netzwerkgeräten und Diensten sowie zentrale Benachrichtigungen bei Problemen.

Uptime Kuma · ntfy · Monitoring

Ein wichtiger Teil meiner Infrastruktur ist die Überwachung der laufenden Systeme. Dafür nutze ich unter anderem Uptime Kuma, um die Erreichbarkeit von Servern, Netzwerkgeräten und Anwendungen zu kontrollieren.

Bei Problemen lasse ich mich über ntfy benachrichtigen. Daneben beschäftige ich mich mit Logs, Systemressourcen, Updates und der Fehlersuche, wenn ein Dienst nicht wie erwartet funktioniert.

Auch Backups und die Wiederherstellung von Daten und Systemen gehören für mich zum Betrieb dazu. Mir ist wichtig, nicht nur eine Sicherung zu besitzen, sondern auch zu wissen, wie ich die betroffenen Systeme im Fehlerfall wiederherstellen kann.

Monitoring

Ich überwache Server, Dienste und Anwendungen, damit Probleme frühzeitig sichtbar werden. Dabei geht es vor allem um Erreichbarkeit, Status, Laufzeiten und Systemressourcen.

Schwerpunkte: Uptime Kuma, Verfügbarkeit, Statusprüfung, Ressourcen

Benachrichtigung

Wenn ein Dienst ausfällt oder ein Problem erkannt wird, lasse ich mich automatisch benachrichtigen. So kann ich schnell reagieren, statt erst später über einen Fehler zu stolpern.

Schwerpunkte: ntfy, Warnmeldungen, Ereignisse, schnelle Reaktion

Backups

Zur Infrastruktur gehören für mich auch regelmäßige Datensicherungen und die Wiederherstellung von Systemen. Dabei achte ich darauf, dass wichtige Daten und Konfigurationen gesichert werden und im Fehlerfall wieder zur Verfügung stehen.

Schwerpunkte: Datensicherung, Backup-Strategie, Restore, Wiederherstellung

Sicherheit

Beim Betrieb meiner Infrastruktur achte ich auf abgesicherte Zugänge und möglichst sichere Systeme. Dazu gehören regelmäßige Updates, verschlüsselte Verbindungen und eine sinnvolle Netzwerksegmentierung, um Dienste und Geräte voneinander zu trennen.

Schwerpunkte: Updates, Zugriffsschutz, Netzwerksegmentierung, sichere Dienste

Meine Serverumgebung ist über die Jahre gewachsen und wurde mehrfach erweitert und umgebaut. Eine größere Umstellung war die Migration von Proxmox VE 6 auf Proxmox VE 9, bei der ich bestehende virtuelle Maschinen und Dienste in die neue Umgebung übernommen habe.

Anschließend habe ich die Hardware erweitert und die Ressourcenverteilung der virtuellen Maschinen angepasst. Dazu gehörten unter anderem zusätzliche Arbeitsspeicher-Kapazitäten, Anpassungen an den VM-Konfigurationen und die Überprüfung der laufenden Dienste.

Besonders wichtig war mir dabei, dass die bereits vorhandenen Anwendungen auch nach der Umstellung wieder zuverlässig funktionieren und die zusätzlichen Ressourcen sinnvoll genutzt werden können.

Eingesetzte Technologien: Proxmox VE · KVM · Linux · Virtualisierung · Ressourcenmanagement · Serveradministration

Ein eigener Bereich meiner Infrastruktur ist für den Betrieb lokaler KI-Modelle vorgesehen. Dafür verwende ich einen GPU-Server mit zwei NVIDIA RTX 3060, auf dem ich unter anderem Qwen mit llama.cpp und Open WebUI betreibe.

Neben der verfügbaren Rechenleistung und dem GPU-Speicher beschäftige ich mich auch mit der Anbindung der Modelle an andere Dienste. Besonders interessant ist für mich die Integration in eigene Anwendungen und die Hausautomatisierung.

Die eingesetzten Modelle, ihre Konfiguration und meine aktuellen KI-Projekte stelle ich auf der Seite Private AI genauer vor.

Viele der hier beschriebenen Systeme nutze ich täglich für eigene Projekte und zum Ausprobieren neuer Technologien. Dabei wird die Umgebung regelmäßig erweitert, angepasst oder auch wieder vereinfacht, wenn sich eine andere Lösung als sinnvoller herausstellt.

Weitere Informationen zu meinen Entwicklungsarbeiten und den eingesetzten Technologien finden sich im Portfolio und auf der Skills-Seite.