Seldon

Présentation du produit

Seldon fournit une plateforme à base open source pour déployer et gérer des modèles de machine learning à grande échelle sur Kubernetes. Les organisations l'utilisent pour servir des modèles en production, exécuter des tests A/B, détecter la dérive des données et surveiller les performances sur des centaines ou des milliers de modèles déployés. La gamme de produits comprend trois niveaux. MLServer est un serveur d'inférence open source (Apache 2.0) qui gère le service de modèles avec des runtimes préconfigurés pour les frameworks courants. Core 2 ajoute un framework Kubernetes-natif pour l'orchestration de pipelines, l'autoscaling, les déploiements shadow et le streaming via Kafka. Core+ ajoute un support commercial avec des modules complémentaires : Alibi Explain pour l'interprétabilité des modèles, Alibi Detect pour la détection de dérive et d'anomalies, et un Module LLM pour le déploiement d'applications d'IA générative incluant les pipelines RAG. Depuis janvier 2024, les produits Core et Alibi utilisent une licence Business Source License (BSL 1.1), gratuite pour le développement et les tests mais nécessitant une licence commerciale pour la production. MLServer reste entièrement open source. La plateforme est agnostique en frameworks et peut servir tout modèle, y compris les LLM européens open-weight, sur toute infrastructure compatible Kubernetes. Fondée à Londres en 2014, Seldon compte Capital One, Ford, PayPal et Covea Insurance parmi ses clients. L'entreprise rapporte plus de 1,7 million de modèles uniques déployés au sein de sa base de clients entreprise. FONCTIONNALITÉS CLÉS : - Serveur d'inférence open source MLServer (Apache 2.0) - Déploiement de modèles Kubernetes-natif avec autoscaling et tests A/B - Modules Alibi pour la détection de dérive et l'explicabilité des modèles - Module LLM pour les déploiements d'IA générative et RAG - Déploiement sur site ou sur tout cloud via Kubernetes

Souveraineté