Janus-Pro-7B, που αναπτύχθηκε από την Deepseek, επιδεικνύει μια ξεχωριστή προσέγγιση για το χειρισμό πυκνών προτροπών σε σύγκριση με άλλα μοντέλα όπως το Dall-e 3.
αποσυνδεδεμένη αρχιτεκτονική
Ένα από τα βασικά χαρακτηριστικά του Janus-Pro είναι η αποσυνδεδεμένη αρχιτεκτονική του, η οποία διαχωρίζει τα καθήκοντα της οπτικής κατανόησης και της παραγωγής κειμένου σε εικόνα. Αυτός ο σχεδιασμός επιτρέπει εξειδικευμένους κωδικοποιητές που μπορούν να προσαρμοστούν για τα αντίστοιχα καθήκοντά τους, ενισχύοντας τόσο την ακρίβεια όσο και τη συνοχή της παραγωγής εξόδου. Αντίθετα, μοντέλα όπως το Dall-e 3 χρησιμοποιούν έναν ενιαίο κωδικοποιητή και για τις δύο εργασίες, γεγονός που μπορεί να οδηγήσει σε συγκρούσεις και μειωμένη απόδοση όταν ασχολείται με περίπλοκες προτροπές [1] [2].Εκπαίδευση με πυκνές προτροπές
Η μεθοδολογία κατάρτισης του Janus-Pro επικεντρώνεται σε πυκνές περιγραφικές προτροπές, χρησιμοποιώντας έναν ενοποιημένο αυτορυθμιζόμενο μετασχηματιστή που επεξεργάζεται τις πολυτροπικές ακολουθίες χαρακτηριστικών. Αυτή η προσέγγιση υπογραμμίζει τη χρήση συνθετικών δεδομένων υψηλής ποιότητας παράλληλα με δεδομένα πραγματικού κόσμου, επιτρέποντας στο μοντέλο να ειδικεύεται στη δημιουργία εικόνων από σύνθετες περιγραφές κειμένου χωρίς τον θόρυβο που συχνά βρίσκεται σε διάφορα σύνολα δεδομένων [2] [4]. Αυτό έρχεται σε αντίθεση με το Dall-E 3, το οποίο βασίζεται περισσότερο σε δεδομένα πραγματικού κόσμου που μπορεί να εισαγάγουν ασυνέπειες στην ποιότητα των παραγωγής [2] [5].μετρήσεις απόδοσης
Σε δοκιμές αναφοράς όπως το DPG Bench, το οποίο αξιολογεί την ικανότητα δημιουργίας εικόνων από πολύπλοκες προτροπές, ο Janus-Pro πέτυχε συνολική βαθμολογία 84,19, ελαφρώς υπεραποδόνοντας τη βαθμολογία του Dall-E 3 των 83,50. Συγκεκριμένα, ο Janus-Pro διακρίθηκε σε μετρήσεις όπως η ευθυγράμμιση των χαρακτηριστικών (89,4% έναντι 88,39%) και ο χειρισμός των σχέσεων (89,32% έναντι 90,58%), υποδεικνύοντας την αντοχή του στην ακριβή ερμηνεία των σχέσεων και των χαρακτηριστικών που περιγράφονται σε πυκνές προτροπές [1] [3] [3] [3] [3] [3] [3] ].Συμπέρασμα
Η καινοτόμος αποσυνδεδεμένη αρχιτεκτονική της Janus-Pro και η εστιασμένη εκπαίδευση σε πυκνές προτροπές του επιτρέπουν να χειριστεί σύνθετα καθήκοντα δημιουργίας εικόνων πιο αποτελεσματικά από τα παραδοσιακά μοντέλα όπως το Dall-e 3 με τη μόχλευση συνθετικών δεδομένων και εξειδικευμένων κωδικοποιητών, η Janus-Pro ενισχύει την ικανότητά της να παράγει συνεκτικά και οπτικά ελκυστικές εξόδους από περίπλοκες οδηγίες, καθορίζοντας ένα νέο πρότυπο στις πολυτροπικές δυνατότητες AI.Αναφορές:
[1] https://www.prompthub.us/blog/deepseek-janus-pro-7b-model-overview-and-how-it-ranks-gainst-dall-e-3
[2] https://aman.ai/primers/ai/deepseek-janus-pro/
[3] https://arxiv.org/html/2501.17811v1
[4] https://aipapersacademy.com/janus-pro/
[5] https://www.datacamp.com/blog/janus-pro
[6] https://stackoverflow.com/questions/45448368/should-i-use-janusgraph-as-main-database-to-store-all-my-data-for-a-new project
[7] https://wandb.ai/byyoung3/ml-news/reports/deepseek-s-new-multi-modal-image-model-janus-pro---vmlldzoxmteymjg2ma
[8] https://www.linkedin.com/pulse/introduction-deepseek-janus-pro-lionel-sim-j6oac