Deepseek tarafından geliştirilen Janus-Pro-7b, Dall-E 3 gibi diğer modellere kıyasla yoğun istemleri ele almak için farklı bir yaklaşım göstermektedir. Bu modelin mimarisi ve eğitim yöntemleri, karmaşık talimatların yorumlanmasındaki üstün performansına önemli ölçüde katkıda bulunur.
ayrılmış mimari
Janus-Pro'nun temel özelliklerinden biri, görsel anlayış ve imge-imajlı nesil görevlerini ayıran ayrıştırılmış mimarisidir. Bu tasarım, kendi görevleri için ince ayarlanabilen özel kodlayıcılara izin verir ve çıktı üretiminde hem doğruluğu hem de tutarlılığı artırır. Buna karşılık, Dall-E 3 gibi modeller, her iki görev için de karmaşık istemlerle uğraşırken çatışmalara ve performansa yol açabilecek tek bir kodlayıcı kullanır [1] [2].Yoğun istemlerle eğitim
Janus-Pro'nun eğitim metodolojisi, multimodal özellik dizilerini işleyen birleşik bir otoregresif transformatör kullanarak yoğun tanımlayıcı istemlere odaklanır. Bu yaklaşım, gerçek dünya verilerinin yanı sıra yüksek kaliteli sentetik verilerin kullanımını vurgular ve modelin farklı veri kümelerinde sıklıkla bulunan gürültü olmadan karmaşık metin açıklamalarından görüntüler üretmede uzmanlaşmasını sağlar [2] [4]. Bu, çıktı kalitesinde tutarsızlıklar getirebilecek gerçek dünya verilerine daha fazla dayanan Dall-E 3 ile tezat oluşturur [2] [5].Performans Metrikleri
Karmaşık istemlerden görüntü üretme yeteneğini değerlendiren DPG-Bench gibi kıyaslama testlerinde Janus-Pro, 84.19'luk bir toplam puan elde etti ve Dall-E 3'ün 83.50 puanını biraz daha iyi performans gösterdi. Özellikle, Janus-Pro, öznitelik hizalaması (% 89.4'e karşı% 88.39) ve ilişki işleme (% 89.32'ye karşı% 90.58) gibi metriklerde mükemmelleşti, bu da yoğun bilgi istemlerinde tarif edilen ilişkileri ve özellikleri doğru bir şekilde yorumlamadaki gücünü gösteriyor [1] [3 ].Çözüm
Janus-Pro'nun yenilikçi ayrıştırılmış mimarisi ve yoğun istemler üzerine odaklanmış eğitimi, karmaşık görüntü oluşturma görevlerini Dall-E 3 gibi geleneksel modellerden daha etkili bir şekilde ele almasına izin verir. Sentetik verileri ve özel kodlayıcılardan yararlanarak Janus-Pro, tutarlı ve görsel olarak üretme yeteneğini geliştirir. Karmaşık talimatlardan cazip çıktılar, multimodal AI yeteneklerinde yeni bir standart belirleme.Alıntılar:
[1] https://www.prompthub.us/blog/deepseek-Janus-pro- 7b-model-oview-and-how-it-sranks-against-lal-e-3
[2] https://aman.ai/primers/ai/deepseek-Janus-pro/
[3] https://arxiv.org/html/2501.17811v1
[4] https://aipapersacademy.com/janus-pro/
[5] https://www.datacamp.com/blog/janus-pro
[6] https://stackoverflow.com/questions/45448368/should-i-uuse-janusgraph-ace-database-to-tor-tl-my-data-for-a-new-project
[7] https://wandb.ai/byyoung3/ml-news/reports/deepseek-s-new-molti-modal-image-generation-model-afro--vmlldzoxmteymjg2ma
[8] https://www.linkedin.com/pulse/introduction-deepseek-janus-pro-lionel-sim-j6oac