MIT ve Empirical Health'ten araştırmacıların yaptığı yeni bir çalışma, tıbbi durumları etkileyici bir doğrulukla tahmin eden bir temel model geliştirmek için 3 milyon kişi-günlük Apple Watch verisini kullandı. İşte ayrıntılar.
Yann LeCun, Meta'nın Baş Yapay Zeka Bilimcisi olduğu dönemde, temelde yapay zekaya verinin kendisinden ziyade eksik verinin anlamını çıkarmayı öğreten Ortak Gömme Tahmin Mimarisi (JEPA) adlı bir mimari önerdi.
Başka bir deyişle, veri eksiklikleriyle karşılaştığında, model eksik parçaların neyi temsil ettiğini tahmin etmeyi öğrenir ; kesin değerlerini tahmin edip yeniden oluşturmaya çalışmaz.
Örneğin, bazı kısımları maskelenmiş, diğer kısımları görünür olan bir görüntü için JEPA, hem görünür hem de maskelenmiş bölgeleri ortak bir alana yerleştirir (bu nedenle Ortak Gömme) ve modelin, gizlenmiş olan tam içerikten ziyade, görünür bağlamdan maskelenmiş bölgenin temsilini çıkarmasını sağlar .
Meta, 2023 yılında I-JEPA adlı bir model piyasaya sürdüğünde durumu şöyle açıklamıştı:
Geçtiğimiz yıl, Meta'nın Baş Yapay Zeka Bilimcisi Yann LeCun, günümüzün en gelişmiş yapay zeka sistemlerinin bile temel sınırlamalarının üstesinden gelmeyi amaçlayan yeni bir mimari önerdi. Vizyonu, dünyanın nasıl işlediğine dair içsel modeller öğrenebilen, böylece çok daha hızlı öğrenebilen, karmaşık görevleri nasıl yerine getireceklerini planlayabilen ve alışılmadık durumlara kolayca uyum sağlayabilen makineler yaratmaktır.
LeCun'un orijinal JEPA çalışmasının yayınlanmasından bu yana, bu mimari, LLM'lerin ve GPT tabanlı sistemlerin belirteç tahminine odaklanmasından farklı olarak, "dünya modelleri"ni araştıran bir alanın temeli haline geldi.
Hatta LeCun, yakın zamanda Meta'dan ayrılıp tamamen dünya modellerine odaklanan bir şirket kurdu; ona göre bu modeller yapay genel zekaya giden gerçek yoldur.
3 milyon günlük Apple Watch verisi mi?
Evet, konumuza geri dönelim. Birkaç ay önce yayınlanan JETS: Sağlık Hizmetlerinde Davranışsal Veriler için Kendi Kendini Denetleyen Ortak Gömme Zaman Serisi Temel Modeli başlıklı makale , yakın zamanda NeurIPS'te bir çalıştaya kabul edildi.
Bu yöntem, JEPA'nın ortak gömme yaklaşımını, kalp atış hızı, uyku, aktivite ve diğer ölçümlerin zaman içinde tutarsız veya büyük aralıklarla göründüğü uzun vadeli giyilebilir cihaz verileri gibi düzensiz çok değişkenli zaman serilerine uyarlar.
Çalışmadan:
Bu çalışma, toplamda yaklaşık 3 milyon kişi-günlük veri içeren, 16.522 kişiden oluşan bir kohorttan toplanan giyilebilir cihaz verilerini kapsayan boylamsal bir veri setini kullanmaktadır. Her birey için, günlük veya daha düşük çözünürlükte 63 farklı zaman serisi metriği kaydedilmiştir. Bu metrikler beş fizyolojik ve davranışsal alana ayrılmıştır: kardiyovasküler sağlık, solunum sağlığı, uyku, fiziksel aktivite ve genel istatistikler.
İlginç bir şekilde, katılımcıların yalnızca %15'inin değerlendirme için etiketlenmiş tıbbi geçmişi vardı; bu da verilerin %85'inin geleneksel denetimli öğrenme yaklaşımlarında kullanılamaz olacağı anlamına geliyordu. Bunun yerine, JETS önce kendi kendine denetimli ön eğitim yoluyla tüm veri kümesinden öğrendi ve ardından etiketlenmiş alt küme üzerinde ince ayar yaptı.
Sistemin düzgün çalışması için, gün, değer ve ölçüm türüne karşılık gelen gözlemlerden üçlü veri kümeleri oluşturdular.
Bu sayede her bir gözlemi bir belirtece dönüştürebildiler; bu belirteç de bir maskeleme işleminden geçirildi, kodlandı ve ardından bir tahminleyiciye (eksik yamaların gömülmesini tahmin etmek için) beslendi.
Bu işlem tamamlandıktan sonra, araştırmacılar JETS'i diğer temel modellerle (Transformer mimarisine dayalı önceki bir JETS sürümü de dahil olmak üzere) karşılaştırdılar ve yapay zekanın pozitif ve negatif vakalar arasında ne kadar iyi ayrım yaptığını ölçen iki standart ölçüt olan AUROC ve AUPRC'yi kullanarak değerlendirdiler.
JETS, yüksek tansiyon için %86,8, atriyal flutter için %70,5, kronik yorgunluk sendromu için %81, hasta sinüs sendromu için %86,8 gibi birçok testte AUROC değerine ulaştı.
Özetle, bu çalışma, eksik veya düzensiz olarak değerlendirilebilecek verilerin içgörü ve hayat kurtarma potansiyelini en üst düzeye çıkarmaya yönelik ilginç bir yaklaşım sunmaktadır. Bazı durumlarda sağlık ölçümleri yalnızca %0,4 oranında kaydedilirken, diğerleri günlük okumaların %99'unda yer almıştır.
Bu çalışma aynı zamanda, Apple Watch gibi düzenli olarak kullanılan giyilebilir cihazlar tarafından, bu cihazlar %100 oranında takılı olmasa bile, halihazırda toplanan verileri keşfetmek için yeni modeller ve eğitim tekniklerinde büyük bir potansiyel olduğu fikrini de güçlendiriyor.
