Yapay zekâ ajanları pahalı çalışanlar olabilir. Bekleme halindeyken bile bilgi işlem kaynaklarını tüketirler ve onlara çok fazla erişim vermek güvenlik sorunlarına yol açabilir.
NVIDIA her iki sorunu da ele almak istiyor. Şirket, Salı günü KubeCon + CloudNativeCon'da, yapay zeka altyapısını daha verimli hale getirmek için tasarlanmış yeni açık kaynaklı araçlarla birlikte OpenShell güvenlik çalışma ortamını Cloud Native Computing Foundation'a (CNCF) katkıda bulunma planlarını duyurdu.
Otonom sistemleri devreye alan işletmeler için bu duyurular, giderek artan iki endişeyi ele alıyor: yapay zeka sistemlerini kontrol altında tutmak ve sistemler büyüdükçe gereksiz altyapı maliyetlerinden kaçınmak.
OpenShell, kuruluşlara otonom yapay zeka ajanlarının nelere erişebileceği ve neler yapabileceği konusunda kontrol imkanı sağlar. Çalışma ortamı, ajanlar araçlarla etkileşim kurarken, çıkarım hizmetlerine erişirken ve iş yüklerini yürütürken güvenlik politikalarını uygular.
Projenin CNCF Sandbox'a taşınması, OpenShell'i ürünlerine entegre eden kuruluşların geliştirme ve yönetimine katılmalarına olanak tanıyor. NVIDIA, yüzlerce kuruluşun yazılımı kullandığını ve bir yıldan kısa sürede on binlerce katkı aldığını belirtiyor.
Bedrock Data'nın CTO'su ve kurucu ortağı Pranava Adduri, "CNCF tarafından yönetilen OpenShell ile ekipler, aracıları güvence altına almak için paylaşılan bir çalışma ortamına sahip oluyor; bu da veri güvenliğini her araç için ayrı ayrı çözmek yerine, aracılar için tek seferde çözmeyi mümkün kılıyor" dedi.
NVIDIA ve Google, ajan hesaplama maliyetlerini hedefliyor
NVIDIA ayrıca, Kubernetes üzerinde uzun ömürlü yapay zeka ajanlarını çalıştırmak için tasarlanmış, Google tarafından geliştirilen bir CNCF Sandbox projesi olan Agent Substrate'e de katkıda bulunuyor.
Bu çerçeve, talimatları veya model yanıtlarını bekleyen aracıların tükettiği bilgi işlem kaynaklarını ele almaktadır. Boşta kalan aracı ortamlarını askıya alabilir, durumlarını koruyabilir ve gerektiğinde paylaşılan bilgi işlem kaynaklarını kullanarak yeniden başlatabilir.
Bu, kuruluşların her biri için ayrı bir altyapı aktif tutmak zorunda kalmadan daha fazla temsilci oturumu yürütmelerine yardımcı olabilir.
NVIDIA, bu çerçeveyi Dynamo çıkarım yazılımı ve KAI Zamanlayıcısı ile entegre etmek için çalışıyor. NVIDIA ve Google ayrıca, ajan güvenliğini bulut ve şirket içi ortamlara yaymak için Agent Substrate ve OpenShell arasında bir entegrasyon geliştiriyor.
NVIDIA ayrıca DSX AI Factory Platformu için üç açık kaynaklı bileşen de tanıttı:
NVIDIA Kubernetes Engine (NVKE): Kubernetes kümesi kurulumunu ve yönetimini otomatikleştirir.
NVIDIA Kubernetes Recipes (NVKR): Tekrarlanabilir altyapı bileşenleri ve sürüme sabitlenmiş yazılım imajları sağlar.
NVIDIA Anlık Görüntü: Model yükleme ve başlatma işlemlerini tekrarlamadan, kontrol noktasına alınmış yapay zeka iş yüklerini geri yükler.
NVKE ve NVKR, çeşitli altyapı sağlayıcılarının entegrasyon planlarıyla birlikte halka açık önizleme sürümünde mevcuttur. Snapshot, ortak testlerinde dikkat çekici sonuçlar vermiştir. Crusoe, NVIDIA HGX B300 sistemlerinde GLM-5.3 iş yükü hazır olma süresini yaklaşık sekiz dakikadan 31 saniyeye düşürmüştür.
Saturn Cloud ayrıca vLLM başlatma sürelerini iki ila 8,5 dakikadan altı ila 34 saniyeye düşürdü.
Bu sonuçlar, uyumlu donanıma ve önceden oluşturulmuş kontrol noktalarına bağlıdır. Tam altyapı tedarikini içermezler.
Bu durum kurumsal yapay zeka için ne anlama geliyor?
NVIDIA'nın duyuruları, yapay zekâ ajanlarını üretime geçiren şirketlerin karşılaştığı birbiriyle bağlantılı zorluklara değiniyor: güvenlik, bilgi işlem maliyetleri ve hizmet kullanılabilirliği.
Ajanların sürekli çalışması pahalı GPU kaynaklarını israf edebilirken , yetersiz erişim kontrolleri kurumsal sistemleri istenmeyen eylemlere maruz bırakabilir. OpenShell'in yönetişim yeteneklerini Agent Substrate'in iş yükü yönetimiyle birleştirmek, altyapı sağlayıcılarının her iki sorunu da çözmesine yardımcı olabilir.
Ancak projelerin olgunluk seviyeleri farklıdır. OpenShell'in yönetim geçişi devam ederken, Agent Substrate geliştirme aşamasındadır ve NVKE ile NVKR hala halka açık önizleme aşamasındadır.
Geliştiriciler ve yapay zeka kullanıcıları nasıl fayda sağlayabilir?
Geliştiriciler, aracı izinleri üzerinde daha fazla kontrol sahibi olabilir ve uzun süren oturumları yönetmenin daha verimli yollarını bulabilirler. Kurumsal müşteriler ise zamanla daha iyi GPU kullanımı ve daha hızlı iş yükü kurtarma imkanı görebilirler.
Yapay zekâ destekli iş uygulamalarının kullanıcıları için , daha hızlı iş yükü kurtarma, daha az hizmet kesintisi anlamına gelebilir. Bununla birlikte, bu duyurular mevcut yapay zekâ asistanlarında hemen bir değişiklik yaratmaz veya her ajan dağıtımının güvenli olduğunu garanti etmez.
NVIDIA'nın duyuruları, işletmelerin yapay zeka ajanlarını üretime geçirirken karşılaştığı üç zorluğa çözüm getiriyor: erişimi kontrol etmek, altyapı maliyetlerini yönetmek ve iş yüklerinin kullanılabilirliğini sağlamak.
Ancak kuruluşlar, bu teknolojileri benimsemeden önce çeşitli sınırlamaları göz önünde bulundurmalıdır:
Proje olgunluk seviyesi: OpenShell'in yönetim geçişi devam ediyor, Agent Substrate geliştirme aşamasında ve NVKE ile NVKR halka açık önizleme aşamasında.
Uyumluluk: Anlık görüntü özelliğinin bildirilen performans iyileştirmeleri, desteklenen altyapıya ve önceden oluşturulmuş kontrol noktalarına bağlıdır.
Güvenlik: OpenShell, aracı politikalarının uygulanması için bir çerçeve sağlar, ancak kuruluşlar yine de uygun izinleri yapılandırmalı ve aracı etkinliğini izlemelidir.
Bu teknolojileri değerlendiren işletmeler için bir sonraki adım, üretim ortamına geçiş yapmadan önce bunları mevcut Kubernetes ortamlarına, güvenlik gereksinimlerine ve yapay zeka iş yüklerine karşı test etmektir.
NVIDIA'nın daha geniş kapsamlı hedefi, kurumsal yapay zeka altyapısını daha açık ve verimli hale getirmektir. Bunun daha düşük işletme maliyetlerine ve daha güvenilir uygulamalara dönüşüp dönüşmeyeceği, bu araçların kontrollü gösterimlerin ötesinde nasıl performans göstereceğine bağlı olacaktır.
