GPT-4.5, tāpat kā tā priekšgājējs GPT-4, ir liela mēroga, multimodāls modelis, kas spēj apstrādāt gan teksta, gan attēla ieejas, lai iegūtu teksta izejas [5]. Tomēr, kad runa ir par attēlu apstrādi PDF, ir īpaši ierobežojumi un metodes, kas jāņem vērā:
1. Tieša attēla analīze PDFS: GPT-4.5 pats neanalizē tieši PDFS iegultus attēlus. Tā vietā tas var apstrādāt attēlus, ja tos iegūst no PDF un tiek parādīti atsevišķi. Tas nozīmē, ka, ja vēlaties, lai GPT-4.5 analizētu attēlus PDF, jums vispirms jāizvelk šie attēli, izmantojot tādus rīkus kā `PDF2IMAGE` vai līdzīgas bibliotēkas [4].
2. Attēla ekstrakcija un pārveidošana: Lai analizētu attēlus PDF, jūs parasti katru PDF lapu pārveidotu attēla formātā (piemēram, PNG vai JPEG), izmantojot tādas bibliotēkas kā `pdf2Image`. Kad attēli ir iegūti, to analizēšanai varat izmantot GPT-4.5 redzes iespējas. Tas ietver attēlu augšupielādi modelī kā URL vai base64 kodētā formātā [3] [4].
3. Vīzijas iespējas: GPT-4.5 redzes iespējas ļauj tai saprast un aprakstīt attēlu saturu, ieskaitot objektu identificēšanu un atbildi uz vispārīgiem jautājumiem par to, kas atrodas attēlos. Tomēr tas, iespējams, nespēj sniegt detalizētu telpisko informāciju par objektiem attēlos [3].
4. Ierobežojumi: lai gan GPT-4.5 var apstrādāt attēlus, tam ir ierobežojumi sarežģītu vai zemas izšķirtspējas attēlos. Ja attēlam ir sliktas kvalitātes vai ir neizlasāms teksts, modelim var būt grūti iegūt jēgpilnu informāciju no tā [2] [6].
5. Papildu analīzes paņēmieni: sarežģītākai analīzei, piemēram, teksta iegūšanai no attēliem, izmantojot optisko rakstzīmju atpazīšanu (OCR) vai analizējot diagrammas un diagrammas, jums, iespējams, būs jāapvieno GPT-4.5 ar citiem rīkiem vai bibliotēkām, piemēram, Tesseract OCR un attēlu apstrādes metodēm sarežģīta vizuāla satura apstrādei [2].
Rezumējot, GPT-4.5 var efektīvi analizēt attēlus, ja tos iegūst no PDF un tiek parādīti atsevišķi, izmantojot tās redzes iespējas, lai saprastu un aprakstītu to saturu. Tomēr netiek atbalstīta tieša PDFS iegulto attēlu analīze bez ekstrakcijas.
Atsauces:
[1] https://www.reddit.com/r/openai/comments/1c0pg1x/gpt4_and_pdf_analysis/
[2] https://www.youtube.com/watch?v=bwyzu68c77k
[3] https://platform.openai.com/docs/guides/vision
[4] https://www.groff.dev/blog/ingesting-pdfs-with-gpt-vision
[5] https://arxiv.org/abs/2303.08774
.
[7] https://cdn.openai.com/gpt-4-5-system-card.pdf
[8] https://community.openai.com/t/what-are-the-limitations-of-4-in-analyzing-pdf-text/534760