MLCommons NSF destekli ajan verimlilik ölçütünü geliştirecek
MLCommons, ABD Ulusal Bilim Vakfı’nın desteklediği iki yıllık 3,5 milyon dolarlık AI Efficiency Challenge kapsamında MLPerf Agents kıyaslamasını geliştirmek üzere seçildi. Planlanan benchmark, yalnızca model belirteç sunumunu değil; ajan çatısı, model seçimi, erişim, araç çalıştırma, orkestrasyon, durum yönetimi, hata kurtarma ve doğrulamayı kapsayan tam iş akışını ölçecek.
Olay / veri dönemi:
Yayın: · Güncelleme:
Başarı; doğrulanmış görev tamamlanması koşuluyla maliyet, enerji, gecikme ve verim üzerinden değerlendirilecek. İlk iş yükleri yazılım mühendisliği, araştırma ve veri analizi ile müşteri hizmetlerini kapsayacak. MLCommons ölçüm kuralları ve gizli doğrulama kümeleri planlıyor; bu aşamada benchmark henüz sonuç üretmiş değil, duyurulan şey iki yıllık geliştirme projesidir.
Veriler
MLCommons NSF destekli ajan verimlilik ölçütünü geliştirecek
MLCommons, ABD Ulusal Bilim Vakfı’nın desteklediği iki yıllık 3,5 milyon dolarlık AI Efficiency Challenge kapsamında MLPerf Agents kıyaslamasını geliştirmek üzere seçildi. Planlanan benchmark, yalnızca model belirteç sunumunu değil; ajan çatısı, model seçimi, erişim, araç çalıştırma, orkestrasyon, durum yönetimi, hata kurtarma ve doğrulamayı kapsayan tam iş akışını ölçecek. Başarı; doğrulanmış görev tamamlanması koşuluyla maliyet, enerji, gecikme ve verim üzerinden değerlendirilecek. İlk iş yükleri yazılım mühendisliği, araştırma ve veri analizi ile müşteri hizmetlerini kapsayacak. MLCommons ölçüm kuralları ve gizli doğrulama kümeleri planlıyor; bu aşamada benchmark henüz sonuç üretmiş değil, duyurulan şey iki yıllık geliştirme projesidir.
- · Gerçekleşti
MLCommons, ABD Ulusal Bilim Vakfı’nın desteklediği iki yıllık 3,5 milyon dolarlık AI Efficiency Challenge kapsamında MLPerf Agents kıyaslamasını geliştirmek üzere seçildi. Planlanan benchmark, yalnızca model belirteç sunumunu değil; ajan çatısı, model seçimi, erişim, araç çalıştırma, orkestrasyon, durum yönetimi, hata kurtarma ve doğrulamayı kapsayan tam iş akışını ölçecek.
MLCommons, ABD Ulusal Bilim Vakfı’nın desteklediği iki yıllık 3,5 milyon dolarlık AI Efficiency Challenge kapsamında MLPerf Agents kıyaslamasını geliştirmek üzere seçildi. Planlanan benchmark, yalnızca model belirteç sunumunu değil; ajan çatısı, model seçimi, erişim, araç çalıştırma, orkestrasyon, durum yönetimi, hata kurtarma ve doğrulamayı kapsayan tam iş akışını ölçecek. Başarı; doğrulanmış görev tamamlanması koşuluyla maliyet, enerji, gecikme ve verim üzerinden değerlendirilecek. İlk iş yükleri yazılım mühendisliği, araştırma ve veri analizi ile müşteri hizmetlerini kapsayacak. MLCommons ölçüm kuralları ve gizli doğrulama kümeleri planlıyor; bu aşamada benchmark henüz sonuç üretmiş değil, duyurulan şey iki yıllık geliştirme projesidir.
Yöntem
Bu kayıt, belirtilen birincil kaynaktaki açıklama ve ölçümleri aktarır; bağımsız test veya anket doğrulaması yapılmadı.
Güncelleme:
Konular ve yerler
Konu önerileri
- Yapay zekâÖneri
- Subject suggested from the title or summary: AImlcommons.org ↗