Janus-Pro-7b, dikembangkan oleh Deepseek, menunjukkan pendekatan yang berbeda untuk menangani dorongan padat dibandingkan dengan model lain seperti Dall-E 3. Metode arsitektur dan pelatihan model ini berkontribusi secara signifikan terhadap kinerja yang unggul dalam menafsirkan instruksi kompleks.
Arsitektur Decoupled
Salah satu fitur utama Janus-Pro adalah arsitekturnya yang dipisahkan, yang memisahkan tugas pemahaman visual dan pembuatan teks-ke-gambar. Desain ini memungkinkan untuk encoder khusus yang dapat disesuaikan untuk tugas masing-masing, meningkatkan akurasi dan koherensi dalam pembuatan output. Sebaliknya, model seperti Dall-E 3 menggunakan encoder tunggal untuk kedua tugas, yang dapat menyebabkan konflik dan mengurangi kinerja ketika berhadapan dengan petunjuk rumit [1] [2].Pelatihan dengan permintaan padat
Metodologi pelatihan Janus-Pro berfokus pada petunjuk deskriptif yang padat, memanfaatkan transformator autoregresif terpadu yang memproses urutan fitur multimodal. Pendekatan ini menekankan penggunaan data sintetis berkualitas tinggi di samping data dunia nyata, memungkinkan model untuk berspesialisasi dalam menghasilkan gambar dari deskripsi tekstual yang kompleks tanpa kebisingan yang sering ditemukan dalam beragam set data [2] [4]. Ini kontras dengan Dall-E 3, yang lebih bergantung pada data dunia nyata yang dapat memperkenalkan ketidakkonsistenan dalam kualitas output [2] [5].Metrik Kinerja
Dalam tes benchmark seperti DPG-Bench, yang mengevaluasi kemampuan untuk menghasilkan gambar dari petunjuk kompleks, Janus-Pro mencapai skor keseluruhan 84,19, sedikit mengungguli skor Dall-E 3 dari 83,50. Khususnya, Janus-Pro unggul dalam perataan atribut metrik seperti (89,4% vs 88,39%) dan penanganan hubungan (89,32% vs 90,58%), menunjukkan kekuatannya dalam menafsirkan hubungan dan atribut yang dijelaskan secara akurat dalam dorongan padat [1] [3] [3 ].Kesimpulan
Arsitektur terpisah inovatif Janus-Pro dan pelatihan terfokus pada dorongan padat memungkinkannya untuk menangani tugas-tugas pembuatan gambar yang kompleks lebih efektif daripada model tradisional seperti Dall-E 3. Dengan memanfaatkan data sintetis dan encoder khusus, Janus-Pro meningkatkan kemampuannya untuk menghasilkan koheren dan secara visual secara visual secara visual, Janus-Pro meningkatkan kemampuannya untuk menghasilkan koheren dan visual secara visual untuk secara koheren dan visual secara visual, Output yang menarik dari instruksi yang rumit, menetapkan standar baru dalam kemampuan AI multimodal.Kutipan:
[1.
[2] https://aman.ai/primers/ai/deepseek-janus-pro/
[3] https://arxiv.org/html/2501.17811v1
[4] https://aipapersacademy.com/janus-pro/
[5] https://www.datacamp.com/blog/janus-pro
[6] https://stackoverflow.com/questions/45448368/should-suse-janusgraph-as-main-database-to-store-all-my-data-for-a-new-project
[7] https://wandb.ai/byyoung3/ml-news/reports/deepseek-snew-multi-modal-image-generation-model-janus-pro---vmlldzoxmteymjg2ma
[8] https://www.linkedin.com/pulse/introduction-deepseek-janus-pro-lionel-sim-j6oac