GPT-4.5 je, tako kot njegov predhodnik GPT-4, obsežen, multimodalni model, ki lahko obdela tako besedilne kot slike za izdelavo besedilnih izhodov [5]. Ko pa gre za ravnanje s slikami znotraj PDF -jev, obstajajo posebne omejitve in metode, ki jih je treba upoštevati:
1. Neposredna analiza slike v PDF-jih: GPT-4.5 sama po sebi ne analizira neposredno vgrajenih slik v PDF. Namesto tega lahko obdela slike, če se izvlečejo iz PDF in jih predstavijo ločeno. To pomeni, da če želite, da GPT-4.5 analizira slike v PDF, morate najprej izvleči te slike z orodji, kot so "pdf2Image" ali podobne knjižnice [4].
2. Ekstrakcija in pretvorba slike: Če želite analizirati slike v PDF -jih, običajno vsako stran PDF pretvorite v obliko slike (npr. PNG ali JPEG) z uporabo knjižnic, kot je "pdf2Image". Ko slike izvlečejo, lahko za njihovo analizo uporabite vidne zmogljivosti GPT-4.5. To vključuje nalaganje slik v model, bodisi kot URLS bodisi v kodiranem formatu Base64 [3] [4].
3. Vidne zmogljivosti: Vidne zmogljivosti GPT-4.5 omogočajo razumevanje in opisovanje vsebine slik, vključno z identifikacijo predmetov in odgovarjanjem na splošna vprašanja o tem, kaj je prisotno na slikah. Vendar pa morda ne bo mogel zagotoviti podrobnih prostorskih informacij o predmetih znotraj slik [3].
4. Omejitve: Medtem ko lahko GPT-4.5 obdeluje slike, ima omejitve pri ravnanju s kompleksnimi ali nizkimi ločljivimi slikami. Če je slika slabe kakovosti ali vsebuje neberljivo besedilo, se lahko model bori za izvlečenje smiselnih informacij iz nje [2] [6].
5. Napredne tehnike analize: Za bolj izpopolnjeno analizo, kot je pridobivanje besedila iz slik z optičnim prepoznavanjem znakov (OCR) ali analizo grafikonov in diagramov, boste morda morali kombinirati GPT-4.5 z drugimi orodji ali knjižnicami, kot so Tesseract za OCR in tehnike obdelave slik za obdelavo kompleksne vizualne vsebine [2].
Če povzamemo, lahko GPT-4.5 učinkovito analizira slike, če se izvlečejo iz PDF-jev in jih predstavijo ločeno, pri čemer uporabijo svoje vidne zmogljivosti za razumevanje in opis njihove vsebine. Vendar neposredna analiza slik, vdelanih v PDF, brez ekstrakcije ni podprta.
Navedbe:
[1] https://www.reddit.com/r/openai/comments/1c0pg1x/gpt4_and_pdf_analysis/
[2] https://www.youtube.com/watch?v=bwyzu68c77k
[3] https://platform.openai.com/docs/guides/vision
[4] https://www.groff.dev/blog/ingesting-pdfs-with-gpt-vision
[5] https://arxiv.org/abs/2303.08774
[6] https://community.openai.com/t/is-it-possible-to-analyze-images, ki je na voljo--indf-files/533994
[7] https://cdn.openai.com/gpt-4-5-system-card.pdf
[8] https://community.openai.com/t/what-are-the-limitations-of-gpt-4-in-analyzing-pdf-text/534760