Janus-Pro-7B, jonka on kehittänyt Deepseek, osoittaa selkeän lähestymistavan tiheiden kehotusten käsittelemiseen verrattuna muihin malleihin, kuten Dall-E 3. Tämän mallin arkkitehtuuri ja koulutusmenetelmät vaikuttavat merkittävästi sen erinomaiseen suorituskykyyn tulkittaessa monimutkaisia ohjeita.
irrotettu arkkitehtuuri
Yksi Janus-Pro: n keskeisistä piirteistä on sen irrotettu arkkitehtuuri, joka erottaa visuaalisen ymmärryksen ja tekstin sukupolven tehtävät. Tämä malli mahdollistaa erikoistuneet kooderit, jotka voidaan hienosäätää vastaaviin tehtäviinsä, mikä parantaa sekä tarkkuutta että johdonmukaisuutta lähtötuotannossa. Sitä vastoin Dall-E 3: n kaltaiset mallit käyttävät yhtä kooderia molemmille tehtäville, jotka voivat johtaa konflikteihin ja vähentyneeseen suorituskykyyn käsitellessäsi monimutkaisia kehotuksia [1] [2].Koulutus tiheällä kehotuksella
Janus-PRO: n koulutusmenetelmä keskittyy tiheisiin kuvaaviin kehotuksiin hyödyntämällä yhtenäistä autoregressiivistä muuntajaa, joka käsittelee multimodaalisia ominaisuussekvenssejä. Tämä lähestymistapa korostaa korkealaatuisen synteettisen tiedon käyttöä reaalimaailman datan rinnalla, mikä mahdollistaa mallin erikoistuneen kuvien luomiseen monimutkaisista tekstimuodoista ilman, että melua, jota usein löytyy erilaisissa tietojoukkoissa [2] [4]. Tämä on ristiriidassa Dall-E 3: n kanssa, joka perustuu voimakkaammin reaalimaailman tietoihin, jotka voivat tuoda esiin epäjohdonmukaisuuksia tuotoksen laadussa [2] [5].Suorituskykymittarit
Vertailutesteissä, kuten DPG-bench, joka arvioi kykyä tuottaa kuvia monimutkaisista kehotuksista, Janus-Pro saavutti kokonaispistemäärän 84,19, mikä ylittää hieman Dall-E 3: n pistemäärän 83,50. Erityisesti Janus-PRO oli erinomainen mittareissa, kuten ominaisuuskohdistus (89,4% vs. 88,39%) ja suhteiden käsittely (89,32% vs. 90,58%), mikä osoittaa sen vahvuuden tulkittaessa tarkasti tiheissä kehotuksissa kuvattuja suhteita ja attribuutteja [1] [3 [3 ].].Päätelmä
Janus-PRO: n innovatiivinen irrotettu arkkitehtuuri ja keskittynyt tiheiden kehotusten koulutus antaa sen hoitaa monimutkaisia kuvankäsittelytehtäviä tehokkaammin kuin perinteiset mallit, kuten Dall-E 3. Hyödyntämällä synteettisiä tietoja ja erikoistuneita koodereita, Janus-Pro parantaa sen kykyä tuottaa ja visuaalisesti Vetovat tuotokset monimutkaisista ohjeista, asettamalla uusi standardi multimodaalisiin AI -ominaisuuksiin.Viittaukset:
.
[2] https://aman.ai/primers/ai/deepseek-janus-pro/
[3] https://arxiv.org/html/2501.17811v1
[4] https://aipapersacademy.com/janus-pro/
[5] https://www.datacamp.com/blog/janus-pro
.
.
.