Cohere, gizli bilişim tabanlı çıkarım hizmetini açık betaya aldı

Cohere, Model Vault üzerinde Gizli Bilişim hizmetinin açık beta sürümünü 22 Ekim'de duyurdu. Şirket bunu, modeller veriyi işlerken korumayı amaçlayan yönetilen bir yapay zekâ çıkarım hizmeti olarak tanımlıyor. Dağıtım, Microsoft Azure'ın gizli bilişim altyapısı üzerinde NVIDIA H100 GPU'ları kullanıyor. Lansman, hassas gördükleri istemler, kayıtlar veya kodlarla barındırılan modellerden yararlanmak isteyen kurumlara yeni bir ürün seçeneği sunuyor.

Cohere, koruma sınırının hem CPU hem GPU işlemlerini kapsadığını belirtiyor. Şirket, iş yükü belleği için donanım tabanlı yalıtım ve işlemci ile hızlandırıcı arasındaki iletişim için şifreleme tanımlıyor. Ayrıca uygulama istek içeriğinin gizli ortama şifrelendiğini, böylece aracı altyapının içeriği okuyamadan şifreli yükü yönlendirebildiğini söylüyor. Açıklamaya göre müşteriler Cohere API'sini ve alışık oldukları istek biçimlerini kullanabiliyor.

Aynı gün yayımlanan mühendislik yazısı, uzaktan doğrulamanın rolünü açıklıyor: ortam donanım, yazılım gömüsü ve yazılım yapılandırmasına ilişkin imzalı ölçümler üretiyor; müşteri tarafındaki doğrulayıcı, korumalı istek gönderilmeden önce bunları kendi onaylı politikasıyla karşılaştırıyor. Cohere, koşullar sağlanmazsa istemcinin veriyi göndermediğini belirtiyor. Teknik yazı, tasarımın güvenilen donanım, yazılım gömüsü, ölçülmüş yazılım ve doğrulama altyapısına dayanmaya devam ettiğini de kaydediyor.

Şirket sınırlamaları da belirtiyor. Gizli bilişim hizmet engelleme saldırılarını, tüm fiziksel veya yan kanal saldırılarını ya da istem enjeksiyonu ve yetkilendirme hataları gibi uygulama düzeyindeki açıkları önlemiyor. İstek zamanlaması, mesaj boyutu, yönlendirme bilgisi, API kimliği ve model tanımlayıcısı gibi bazı üst veriler görünür kalıyor. Cohere, sistemin veri yerleşimini belirlemediğini ve sözleşme ya da mevzuat kontrollerinin yerini almadığını söylüyor. Açıklama bir beta ürününü ve sağlayıcının tarif ettiği güvenlik mimarisini doğruluyor; bağımsız güvenlik denetimi veya tüm risklerin ortadan kalktığının kanıtı değil.

Mimari açıklaması hangi bilgilerin görünür veya güvenilen kaldığını da belirtiyor. Cohere, şifreli uygulama yükünün doğrulanmış ortama ait bir anahtara Oblivious HTTP üzerinden iletildiğini; API kimlik bilgisi ve model tanımlayıcısı dâhil yönlendirme ve kimlik doğrulama bilgilerinin bu şifreli yükün dışında kaldığını söylüyor. Donanım, aygıt yazılımı, ölçülen yazılım ve doğrulama hizmetleri şirketin belirttiği güven tabanında kalıyor. Zamanlama, mesaj boyutu ve trafik hacmi görülebilir; hizmet engelleme, yan kanal saldırıları, prompt enjeksiyonu ve uygulama kusurları gizli bilgi işlemle engellenmiyor. Ürün Azure üzerinde NVIDIA H100 GPU’larıyla açık beta aşamasında; şirketin teknik açıklamaları bağımsız güvenlik sertifikası değildir.