GPT-4.5, kaip ir jo pirmtakas GPT-4, yra didelio masto, multimodalinis modelis, galintis apdoroti tiek teksto, tiek vaizdo įvestis, kad būtų galima sukurti teksto išėjimus [5]. Tačiau kai reikia tvarkyti vaizdus PDFS, reikia atsižvelgti į specifinius apribojimus ir metodus:
1. Tiesioginės vaizdo analizė PDFS: Pats GPT-4.5 tiesiogiai neanalizuoja vaizdų, įterptų į PDF. Vietoj to, jis gali apdoroti vaizdus, jei jie išgaunami iš PDF ir pateikiami atskirai. Tai reiškia, kad jei norite, kad GPT-4.5 analizuotų vaizdus PDF, pirmiausia turite išgauti tuos vaizdus, naudodami tokius įrankius kaip „PDF2Image“ ar panašios bibliotekos [4].
2. Vaizdo ištraukimas ir konversija: Norėdami analizuoti vaizdus PDFS, paprastai kiekvieną PDF puslapį konvertuosite į vaizdo formatą (pvz., PNG ar JPEG), naudodamiesi bibliotekomis, tokiomis kaip „PDF2Image“. Ištraukę vaizdus, juos analizuoti galite naudoti GPT-4.5 regėjimo galimybes. Tai apima vaizdų įkėlimą į modelį kaip URLS arba „Base64“ užkoduoto formato [3] [4].
3. Regėjimo galimybės: GPT-4.5 „Vision“ galimybės leidžia suprasti ir apibūdinti vaizdų turinį, įskaitant objektų identifikavimą ir atsakymą į bendrus klausimus apie tai, kas yra vaizduose. Tačiau ji gali negalėti pateikti išsamios erdvinės informacijos apie vaizdų objektus [3].
4. Apribojimai: Nors GPT-4.5 gali apdoroti vaizdus, jis turi apribojimų tvarkant sudėtingus ar mažos skiriamosios gebos vaizdus. Jei vaizdas yra prastos kokybės arba jame yra neįskaitomas tekstas, modelis gali stengtis iš jo išgauti reikšmingą informaciją [2] [6].
5. Išplėstinės analizės metodai: Sudėtingesnei analizei, pavyzdžiui, teksto ištraukimui iš vaizdų, naudojant optinio simbolių atpažinimą (OCR) arba analizuojant diagramas ir diagramas, gali tekti sujungti GPT-4.5 su kitomis priemonėmis ar bibliotekomis, tokiomis kaip OCR ir vaizdų apdorojimo metodai [2].
Apibendrinant galima pasakyti, kad GPT-4.5 gali efektyviai analizuoti vaizdus, jei jie išgaunami iš PDF ir pateikiami atskirai, pasinaudodami savo regėjimo galimybėmis suprasti ir apibūdinti jų turinį. Tačiau tiesioginė vaizdų, įterptų į PDFS be ištraukimo, analizė nepalaikoma.
Citatos:
[1] https://www.reddit.com/r/openai/comments/1c0pg1x/gpt4_and_pdf_analysis/
[2] https://www.youtube.com/watch?v=bwyzu68c77k
[3] https://platform.openai.com/docs/guides/vision
[4] https://www.groff.dev/blog/ingesting-pdfs-with-gish-gision
[5] https://arxiv.org/abs/2303.08774
[6] https://community.openai.com/t/is-it-posible-to-analyze-images-contaved-in-pdf-files/533994
[7] https://cdn.openai.com/gpt-4-5-system-card.pdf
[8] https://community.openai.com/t/whath-are-the-limitations-of-gpt-o-in-analyzing-pdf-text/534760