Apple için çalışan araştırmacılar ve Cornell Üniversitesi’nden araştırmacılar, Ekim ayında sessizce “Ferret” adlı yeni bir açık kaynak çok modlu LLM (Büyük Dil Modeli) yayınladılar. Bu araştırma sürümü, sorgulamalar için görüntülerin bölgelerini kullanabildiğini gösteriyor.
Ekim ayında GitHub’a yapılan tanıtım genellikle gözden kaçtı; tanıtımı için herhangi bir duyuru veya gösteri yapılmadı. Ferret kodu, 30 Ekim’de Ferret-Bench ile birlikte yayınlandı ve 14 Aralık’ta kontrol noktası sürümleri tanıtıldı.
Başlangıçta çok fazla dikkat çekmese de, bu yayın Cumartesi günü AI araştırmacıları için daha büyük bir mesele haline geldi, VentureBeat raporlarına göre. AI-in-medicine adlı kar amacı gütmeyen bir kuruluşun operatörü Bart De Witte, “kaçırılan” yayını X’e göndererek, bunun “Apple’ın etkili AI araştırmalarına olan bağlılığının bir kanıtı” olduğunu belirtti.
Ferret’in açık kaynak kodu yayını, ticari olmayan bir lisans altında gerçekleştiriliyor; bu yüzden şu anki durumunda ticarileştirilemiyor. Ancak, gelecekte bir Apple ürünü veya hizmetinde bir şekilde kullanılma ihtimali her zaman var.
Apple AI/ML araştırma bilimcisi Zhe Gan’ın Ekim ayında attığı bir tweet, Ferret’in kullanımını bir görüntüde “herhangi bir yerde herhangi bir ayrıntı düzeyinde başvurmak ve temellendirmek” olarak açıklıyor. Ayrıca, bir görüntü içindeki herhangi bir şekildeki bölgeyi kullanarak da bunu yapabilir.
Daha basit bir ifadeyle, model bir görüntü üzerinde çizilen bir bölgeyi inceleyebilir, bir kullanıcının sorgusunda yararlı olan unsurları belirleyebilir, bunu tanımlayabilir ve tespit edilen unsurların etrafına sınırlayıcı bir kutu çizebilir. Ardından, tanımlanan unsuru bir sorgunun parçası olarak kullanabilir ve tipik bir şekilde buna yanıt verebilir.
Örneğin, bir görüntüde bir hayvanı vurgulayıp LLM’ye hayvanın ne olduğunu sorduğunuzda, hayvanın türünü belirleyebilir ve kullanıcının bir grup içindeki bireysel bir hayvana atıfta bulunduğunu anlayabilir. Daha sonra, görüntüde tespit edilen diğer öğelerin bağlamını kullanarak daha fazla yanıt sunabilir.
🚀🚀Introducing Ferret, a new MLLM that can refer and ground anything anywhere at any granularity.
📰https://t.co/gED9Vu0I4y
1⃣ Ferret enables referring of an image region at any shape
2⃣ It often shows better precise understanding of small image regions than GPT-4V (sec 5.6) pic.twitter.com/yVzgVYJmHc— Zhe Gan (@zhegan4) October 12, 2023
Bu yayın, araştırmacılar için önemlidir çünkü Apple’ın AI çalışmalarıyla daha açık olmaya istekli olduğunu gösterir, genellikle gizli tuttuğu duruşunun aksine. Apple için bir altyapı sorunu da var, çünkü şirket sahip olduğu AI sunucularının sayısını artırmaya çalışırken, şu anda örneğin ChatGPT ile başa baş çalışacak ölçekte olmayabilir. Apple, kapasitelerini artırmak için diğer firmalarla çalışabilir, diğer yol ise tam olarak yaptığı şey, yani bir açık kaynak modeli yayınlamak.
GitHub yayınında ilginç bir öğe, Reddit’in r/Apple subredditi tarafından Ferret’in “80GB belleğe sahip 8 A100 GPU’sunda eğitildiğinin” belirlenmesiydi. Apple’ın Nvidia GPU desteği ile ilgili geçmişi göz önüne alındığında, bu, GPU üreticisinin nadir bir kabulü olarak görüldü.
Kaynaklar:
https://appleinsider.com/articles/23/12/24/apples-ferret-is-a-new-open-source-machine-learning-model
Bir yanıt yazın