Janus-Pro-7b, разработанный DeepSeek, демонстрирует отчетливый подход к обработке плотных подсказок по сравнению с другими моделями, такими как Dall-E 3.
отделенная архитектура
Одной из ключевых особенностей Janus-Pro является ее развязанная архитектура, которая разделяет задачи визуального понимания и генерации текста до изображения. Эта конструкция позволяет специализированным энкодерам, которые могут быть точно настроены для их соответствующих задач, повышая как точности, так и согласованность в генерации выхода. Напротив, такие модели, как Dall-E 3, используют один кодер для обеих задач, что может привести к конфликтам и снижению производительности при работе со сложными подсказками [1] [2].Обучение с плотными подсказками
Методология обучения Janus-Pro фокусируется на плотных описательных подсказках, используя унифицированный авторегрессивный трансформатор, который обрабатывает мультимодальные последовательности объектов. Этот подход подчеркивает использование высококачественных синтетических данных наряду с реальными данными, что позволяет модели специализироваться на создании изображений из сложных текстовых описаний без шума, часто встречающегося в различных наборах данных [2] [4]. Это контрастирует с DALL-E 3, который в большей степени зависит от реальных данных, которые могут вводить несоответствия в качество выходов [2] [5].Метрики производительности
В тестах, таких как DPG-Bench, которые оценивают способность генерировать изображения из сложных подсказок, Janus-Pro достиг общего балла 84,19, немного превосходя оценку Dall-E 3 83,50. Примечательно, что Janus-Pro преуспел в таких показателях, как выравнивание атрибутов (89,4% против 88,39%) и обработку отношений (89,32% против 90,58%), что указывает на его силу при точной интерпретации отношений и атрибутов, описанных в Dense Prompts [1] [3 ]Заключение
Инновационная развязанная архитектура Janus-Pro и целенаправленная подготовка к плотным подсказкам позволяет ему более эффективно выполнять сложные задачи генерации изображений, чем традиционные модели, такие как Dall-E 3. Используя синтетические данные и специализированные кодеры, Janus-Pro повышает свою способность производить когерентные и визуальные Привлекательные выходы из сложных инструкций, установив новый стандарт в мультимодальных возможностях ИИ.Цитаты:
[1] https://www.prompthub.us/blog/deepseek-janus-pro-7b-model-overview-and-how-it-ranks-against-dall-e-3
[2] https://aman.ai/primers/ai/deepseek-janus-pro/
[3] https://arxiv.org/html/2501.17811v1
[4] https://aipapersacademy.com/janus-pro/
[5] https://www.datacamp.com/blog/janus-pro
[6] https://stackoverflow.com/questions/45448368/should-i-use-janusgraph-s-main-database-tostore-all-my-data-for-a-new-project
[7] https://wandb.ai/byyoung3/ml-news/reports/deepseek-new-multi-modal-image-generation-model-janus-pro---vmlldzoxmteymjg2ma
[8] https://www.linkedin.com/pulse/introduction-deepseek-janus-pro-lionel-sim-j6oac