IBM explica métodos de inferência distribuída para grandes modelos de linguagem

A IBM Research explicou a inferência distribuída por meio do llm-d, um framework de código aberto e nativo do Kubernetes que coordena grupos de servidores de grandes modelos de linguagem em vez de balancear cada servidor isoladamente. O explicador aborda o roteamento para servidores que já mantêm prefixos compartilhados, a transferência do cache KV para memória de CPU ou armazenamento, a priorização do fluxo de solicitações, o controle de tarefas em lote, a separação de prefill e decode e a distribuição de especialistas MoE entre nós.

A IBM relata que uma demonstração do llm-d capturou 97% da reutilização de prefixos disponível na carga de trabalho testada; também cita demonstrações de paralelismo amplo de especialistas com menos memória de pesos por GPU e capacidade de cache KV três a nove vezes maior, conforme a topologia. Esses números pertencem a demonstrações citadas pela empresa; o texto não é um estudo de benchmark independente.