Ai2 detalha escalonador que altera a partilha dos seus clusters de GPU

O Allen Institute for AI (Ai2), sediado nos Estados Unidos, substituiu a programação baseada em prioridades nos seus clusters de investigação por um sistema que atribui orçamentos de tempo de GPU a equipas e projetos, distribui a capacidade por regras hierárquicas de partilha justa e pode voltar a colocar tarefas na fila após tempos mínimos declarados. O instituto disse que os clusters têm entre 88 e 1.024 GPUs e que cerca de 150 investigadores solicitam, em qualquer momento, duas a três vezes a capacidade disponível.

Durante os 30 dias após o início da implementação gradual no fim de julho, as equipas receberam 98% das horas de GPU que lhes eram devidas segundo a procura e as alocações; a ocupação dos clusters manteve-se em 98% antes e depois da alteração. A Ai2 também reportou uma redução de 74% nas reparações que exigem intervenção humana e uma queda de cinco minutos para 24 segundos na espera mediana do seu maior cluster H100. O instituto continua a acompanhar problemas como interrupções de sessões interativas e possível fragmentação da capacidade para tarefas grandes.