Seldon

Produktübersicht

Seldon bietet eine auf Open Source basierende Plattform für das Deployment und Management von Machine-Learning-Modellen im großen Maßstab auf Kubernetes. Organisationen nutzen sie, um Modelle in der Produktion bereitzustellen, A/B-Tests durchzuführen, Data Drift zu erkennen und die Performance über Hunderte oder Tausende bereitgestellte Modelle zu überwachen. Die Produktlinie hat drei Stufen. MLServer ist ein Open-Source-Inference-Server (Apache 2.0), der Model Serving mit vorgefertigten Runtimes für gängige Frameworks übernimmt. Core 2 ergänzt ein Kubernetes-natives Framework für Pipeline-Orchestrierung, Autoscaling, Shadow Deployments und Streaming über Kafka. Core+ bietet kommerziellen Support mit Zusatzmodulen: Alibi Explain für Modellinterpretierbarkeit, Alibi Detect für Drift- und Ausreißer-Erkennung und ein LLM-Modul für das Deployment generativer KI-Anwendungen einschließlich RAG-Pipelines. Seit Januar 2024 nutzen Core und Alibi-Produkte eine Business Source License (BSL 1.1), die für Entwicklung und Tests kostenlos, für den Produktionseinsatz aber lizenzpflichtig ist. MLServer bleibt vollständig Open Source. Die Plattform ist Framework-agnostisch und kann jedes Modell, einschließlich europäischer Open-Weight-LLMs, auf jeder Kubernetes-kompatiblen Infrastruktur bereitstellen. Gegründet 2014 in London, zählt Seldon Capital One, Ford, PayPal und Covea Insurance zu seinen Kunden. Das Unternehmen meldet über 1,7 Millionen einzigartige Modelle, die bei seinen Enterprise-Kunden bereitgestellt wurden. WICHTIGSTE MERKMALE: - MLServer Open-Source-Inference-Server (Apache 2.0) - Kubernetes-natives Model Deployment mit Autoscaling und A/B-Tests - Alibi-Module für Drift-Erkennung und Modell-Erklärbarkeit - LLM-Modul für generative KI- und RAG-Deployments - On-Premise oder beliebiges Cloud-Deployment auf Kubernetes

Souveränität