Janus-Pro-7B, mille on välja töötanud Deepseek, demonstreerib selget lähenemist tihedate juhiste käsitlemiseks võrreldes teiste mudelitega nagu Dall-E 3. Selle mudeli arhitektuuri- ja treeningmeetodid aitavad märkimisväärselt kaasa selle suurepärasele jõudlusele keerukate juhiste tõlgendamisel.
Lahendatud arhitektuur
Janu-pro üks peamisi omadusi on selle lahutatud arhitektuur, mis eraldab visuaalse mõistmise ja teksti-pildi genereerimise ülesanded. See disain võimaldab spetsialiseerunud koodereid, mida saab nende vastavate ülesannete täitmiseks täpsustada, suurendades nii täpsust kui ka sidusust väljundi genereerimisel. Seevastu sellised mudelid nagu Dall-E 3 kasutavad mõlema ülesande jaoks ühte kooderit, mis võivad keerukate viipetega toime tulemisel põhjustada konflikte ja vähenenud jõudlust [1] [2].Tihedate viipetega koolitus
Janus-Pro koolitusmetoodika keskendub tihedatele kirjeldavatele viipetele, kasutades ühtset autoregressiivset trafo, mis töötleb multimodaalseid funktsioonide järjestusi. See lähenemisviis rõhutab kvaliteetsete sünteetiliste andmete kasutamist koos reaalainete andmetega, võimaldades mudelil spetsialiseeruda keerukatest tekstide kirjeldustest piltide genereerimisele ilma mürata, mida sageli leidub erinevates andmekogudes [2] [4]. See vastandub Dall-E 3-le, mis tugineb tõsisemalt reaalmaailma andmetele, mis võivad põhjustada ebakõlasid väljundkvaliteedi osas [2] [5].Performance mõõdikud
Sellistes võrdlusalustes nagu DPG-pink, mis hindab võimalust genereerida pilte keerukatest viipetest, saavutas Janus-Pro üldskoori 84,19, edestades pisut Dall-E 3 tulemust 83,50. Nimelt paistis Janus-Pro silma mõõdikutes nagu atribuutide joondamine (89,4% vs 88,39%) ja suhete käitlemist (89,32% vs 90,58%), mis näitab selle tugevust tihedates parandustes kirjeldatud suhete ja atribuutide täpselt tõlgendamisel [1] [3] [3] [3] [3] [3] ].Järeldus
Janus-Pro uuenduslik lahtisiltoodud arhitektuur ja keskendunud koolitus tihedatele lubadele võimaldavad tal keerukamalt käsitleda keerukamalt kui traditsioonilised mudelid nagu Dall-E 3. Sünteetiliste andmete ja spetsialiseerunud kooderite võimendamise teel suurendab Janus-Pro oma võimet toota sidusat ja visuaalselt visuaalselt keerukate juhiste ahvatlevad väljundid, uue standardi seadistamine multimodaalsetes AI -võimalustes.Tsitaadid:
]
[2] https://aman.ai/primers/ai/deepseek-janus-pro/
[3] https://arxiv.org/html/2501.17811v1
[4] https://aipapersacademy.com/janus-pro/
[5] https://www.datacamp.com/blog/janus-pro
]
]
]