IBM explique les méthodes d’inférence distribuée pour les grands modèles de langage

IBM Research a présenté l’inférence distribuée avec llm-d, un framework open source natif Kubernetes qui coordonne des groupes de serveurs de grands modèles de langage plutôt que d’équilibrer chaque serveur isolément. L’explicatif décrit le routage vers les serveurs qui détiennent déjà des préfixes communs, le transfert du cache KV vers la mémoire CPU ou le stockage, la priorisation du flux de requêtes, le contrôle des traitements par lots, la séparation du préremplissage et du décodage, ainsi que la répartition des experts MoE entre les nœuds.

IBM indique qu’une démonstration llm-d a capté 97 % de la réutilisation de préfixes disponible dans la charge testée ; l’entreprise cite aussi des démonstrations de parallélisme large des experts avec moins de mémoire de poids par GPU et une capacité de cache KV multipliée par trois à neuf selon la topologie. Ces chiffres proviennent de démonstrations citées par l’entreprise ; l’article n’est pas une étude comparative indépendante.