IBM, büyük dil modelleri için dağıtık çıkarım yöntemlerini açıklıyor

IBM Research, büyük dil modelleri sunucularını tek tek dengelemek yerine kümeler genelinde yöneten dağıtık çıkarımı, açık kaynaklı ve Kubernetes tabanlı llm-d çerçevesi üzerinden anlattı. Yazı; ortak öneklerin bulunduğu sunucuya yönlendirme, KV önbelleğinin CPU belleği veya depolamaya taşınması, istek akışının önceliklendirilmesi, toplu işlerin kontrollü yürütülmesi, prefill ile decode’un ayrılması ve MoE uzmanlarının düğümlere dağıtılması yöntemlerini açıklıyor.

IBM, llm-d gösterimlerinden birinde önbellek farkındalıklı yönlendirmenin test edilen iş yükündeki kullanılabilir önek tekrar kullanımının yüzde 97’sini yakaladığını; geniş uzman paralelliği düzenlerinin belirli karşılaştırmalarda GPU başına daha düşük uzman ağırlığı ve topolojiye göre üç ila dokuz kat KV önbellek kapasitesi sağladığını aktarıyor. Bu değerler şirketin atıf yaptığı gösterimlere aittir; yazı bağımsız bir kıyaslama çalışması değildir.