Janus-Pro-7b พัฒนาโดย Deepseek แสดงให้เห็นถึงวิธีการที่แตกต่างในการจัดการพรอมต์หนาแน่นเมื่อเทียบกับรุ่นอื่น ๆ เช่น Dall-E 3 สถาปัตยกรรมและวิธีการฝึกอบรมของโมเดลนี้มีส่วนสำคัญต่อประสิทธิภาพที่เหนือกว่าในการตีความคำแนะนำที่ซับซ้อน
decoupled สถาปัตยกรรม
หนึ่งในคุณสมบัติที่สำคัญของ Janus-Pro คือสถาปัตยกรรมที่แยกออกมาซึ่งแยกงานของการทำความเข้าใจด้านภาพและการสร้างข้อความเป็นภาพ การออกแบบนี้ช่วยให้สามารถเข้ารหัสแบบพิเศษที่สามารถปรับแต่งได้อย่างละเอียดสำหรับงานที่เกี่ยวข้องเพิ่มความแม่นยำและการเชื่อมโยงกันในการสร้างเอาท์พุท ในทางตรงกันข้ามแบบจำลองเช่น Dall-E 3 ใช้ตัวเข้ารหัสเดี่ยวสำหรับงานทั้งสองซึ่งสามารถนำไปสู่ความขัดแย้งและลดประสิทธิภาพเมื่อจัดการกับพรอมต์ที่ซับซ้อน [1] [2]การฝึกอบรมด้วยพรอมต์หนาแน่น
วิธีการฝึกอบรมของ Janus-Pro มุ่งเน้นไปที่พรอมต์เชิงพรรณนาหนาแน่นโดยใช้หม้อแปลงอัตโนมัติแบบครบวงจรที่ประมวลผลลำดับคุณสมบัติหลายรูปแบบ วิธีการนี้เน้นการใช้ข้อมูลสังเคราะห์คุณภาพสูงควบคู่ไปกับข้อมูลในโลกแห่งความเป็นจริงทำให้แบบจำลองมีความเชี่ยวชาญในการสร้างภาพจากคำอธิบายข้อความที่ซับซ้อนโดยไม่มีเสียงรบกวนมักพบในชุดข้อมูลที่หลากหลาย [2] [4] สิ่งนี้ตรงกันข้ามกับ Dall-E 3 ซึ่งอาศัยข้อมูลในโลกแห่งความเป็นจริงมากขึ้นซึ่งอาจทำให้เกิดความไม่สอดคล้องกันในคุณภาพเอาต์พุต [2] [5]ตัวชี้วัดประสิทธิภาพ
ในการทดสอบมาตรฐานเช่น DPG-bench ซึ่งประเมินความสามารถในการสร้างภาพจากพรอมต์ที่ซับซ้อน Janus-Pro ได้คะแนนโดยรวม 84.19 ซึ่งมีประสิทธิภาพสูงกว่าคะแนน Dall-E 3 เล็กน้อยที่ 83.50 ยวด Janus-Pro มีความเก่งในการวัดเช่นการจัดตำแหน่งแอตทริบิวต์ (89.4% เทียบกับ 88.39%) และการจัดการความสัมพันธ์ (89.32% เทียบกับ 90.58%) แสดงถึงความแข็งแกร่งในการตีความความสัมพันธ์และคุณลักษณะที่อธิบายไว้ในความหนาแน่น [1] [3] [3] [3] [3] [3] [3] ].บทสรุป
สถาปัตยกรรมที่เป็นนวัตกรรมใหม่ของ Janus-Pro และการฝึกอบรมที่มุ่งเน้นในการแจ้งเตือนที่หนาแน่นช่วยให้สามารถจัดการงานการสร้างภาพที่ซับซ้อนได้อย่างมีประสิทธิภาพมากกว่ารุ่นดั้งเดิมเช่น Dall-E 3 โดยใช้ประโยชน์จากข้อมูลสังเคราะห์และเครื่องเข้ารหัสเฉพาะ การดึงดูดผลลัพธ์จากคำแนะนำที่ซับซ้อนตั้งค่ามาตรฐานใหม่ในความสามารถ AI แบบหลายรูปแบบการอ้างอิง:
[1] https://www.prompthub.us/blog/deepseek-janus-pro-7b-model-overview-and-how-it-ranks-against-dall-e-3
[2] https://aman.ai/primers/ai/deepseek-janus-pro/
[3] https://arxiv.org/html/2501.17811v1
[4] https://aipapersacademy.com/janus-pro/
[5] https://www.datacamp.com/blog/janus-pro
[6] https://stackoverflow.com/questions/45448368/should-use-use-janusgraph-as-main-database-to-store-all-my-data-for-new-project
[7] https://wandb.ai/byyoung3/ml-news/reports/deepseek-s-new-multi-modal-image-generation-model-janus-pro--vmlldzoxmteymjg2ma
[8] https://www.linkedin.com/pulse/introduction-deepseek-janus-pro-lionel-sim-j6oac