Freiberuflicher Webentwickler · Hamburg
Self-hosted LLM
Ein self-hosted LLM läuft auf eigener Hardware oder in der eigenen Cloud, statt ausschließlich über einen öffentlichen API-Anbieter. Vorteil: klarere Kontrolle über Datenflüsse, Netzwerkgrenzen und Aufbewahrung – relevant bei vertraulichem Code oder personenbezogenen Inhalten.
Nachteile: Betrieb, GPU-Kosten, Modellpflege und oft schwächere Qualität als bei führenden Cloud-Modellen. Ich helfe bei der ehrlichen Abwägung: Was darf das Haus verlassen, was muss intern bleiben, und wo reicht eine API mit Vertrag und Logging. Kontext: AI Development, DSGVO und KI.