AWS publie un guide EKS pour l’inférence Ray LLM multi-nœuds
Un guide AWS du 12 octobre présente une configuration de conteneur Ray LLM sur EKS qui répartit un LLM sur deux nœuds GPU, en séparant le préremplissage et la génération des jetons. L’article porte sur le déploiement et la configuration.
Période de consultation de la source: 2026-10-12
Publié: · Mis à jour:
La source ne précise pas la date de l’événement ; la période indiquée est celle de la consultation de la source.
AWS a publié un guide technique pour servir un grand modèle de langage sur deux nœuds GPU d’Amazon EKS avec le conteneur Ray LLM Deep Learning. Dans l’exemple, un nœud exécute le préremplissage du prompt et l’autre le décodage, qui génère la réponse jeton par jeton ; NIXL transfère le cache clé-valeur via EFA.
Le guide utilise Ray Serve LLM et une configuration YAML pour réunir une pile logicielle GPU testée derrière un point de terminaison compatible OpenAI. Il indique que le chargement des poids de Qwen3.5-9B après redémarrage passe d’environ 145 secondes à environ 2 secondes ; ce chiffre dépend des paramètres de cache et de l’exemple g6.8xlarge. Il s’agit d’un guide de déploiement, pas d’une évaluation comparative indépendante.
Données
AWS publie un guide EKS pour l’inférence Ray LLM multi-nœuds
- · Survenu
Date de publication de la source
Un guide AWS du 12 octobre présente une configuration de conteneur Ray LLM sur EKS qui répartit un LLM sur deux nœuds GPU, en séparant le préremplissage et la génération des jetons. L’article porte sur le déploiement et la configuration.
Méthodologie
Les affirmations et détails techniques sont attribués à la source primaire citée ; il ne s’agit pas de tests indépendants.
Mis à jour:
Sujets et lieux
Sujets proposés
- Intelligence artificielleProposé
- Subject suggested from the title or summary: LLMaws.amazon.com ↗