Ai2 présente un planificateur qui modifie le partage de ses clusters GPU

L’Allen Institute for AI (Ai2), basé aux États-Unis, a remplacé la planification par priorités dans ses clusters de recherche par un système qui attribue des budgets de temps GPU aux équipes et projets, répartit la capacité selon des règles hiérarchiques de partage équitable et peut remettre les tâches en file après une durée minimale déclarée. L’institut indique que ses clusters comptent de 88 à 1 024 GPU et qu’environ 150 chercheurs demandent à tout moment deux à trois fois la capacité disponible.

Au cours des 30 jours suivant le début du déploiement progressif fin juillet, les équipes ont reçu 98 % des heures GPU qui leur étaient dues selon la demande et les allocations ; l’occupation des clusters est restée à 98 % avant et après le changement. Ai2 signale aussi une baisse de 74 % des réparations nécessitant une intervention humaine et une réduction de cinq minutes à 24 secondes de l’attente médiane dans son plus grand cluster H100. L’institut continue de surveiller les interruptions de sessions interactives et le risque de fragmentation de capacité pour les grands travaux.