GPT-4,5, rovnako ako jeho predchodca GPT-4, je rozsiahly multimodálny model schopný spracovať textové aj obrazové vstupy na výrobu textových výstupov [5]. Pokiaľ však ide o manipuláciu s obrázkami v rámci PDF, existujú osobitné obmedzenia a metódy, ktoré je potrebné zvážiť:
1. Priama analýza obrazu v PDFS: samotný GPT-4,5 priamo neanalyzuje obrázky zabudované do PDFS. Namiesto toho môže spracovať obrázky, ak sú extrahované z PDF a prezentované osobitne. To znamená, že ak chcete, aby GPT-4,5 analyzovala obrázky v PDF, musíte tieto obrázky najskôr extrahovať pomocou nástrojov ako „pdf2image“ alebo podobné knižnice [4].
2. Extrakcia a konverzia obrázka: Na analýzu obrázkov v PDFS by ste zvyčajne previedli každú stránku PDF na formát obrázka (napr. PNG alebo JPEG) pomocou knižníc, ako je napríklad `pdf2image`. Po extrahovaní obrázkov môžete na ich analýzu použiť možnosti videnia GPT-4.5. Zahŕňa to nahrávanie obrázkov do modelu, buď ako URL alebo vo formáte kódovanom Base64 [3] [4].
3. Možnosti videnia: Možnosti videnia GPT-4.5 mu umožňujú porozumieť a opísať obsah obrázkov vrátane identifikácie objektov a odpovede na všeobecné otázky o tom, čo je prítomné na obrázkoch. Nemusí však byť schopný poskytnúť podrobné priestorové informácie o objektoch v rámci obrázkov [3].
4. Obmedzenia: Zatiaľ čo GPT-4,5 dokáže spracovať obrázky, má obmedzenia pri manipulácii s komplexnými obrázkami alebo s nízkym rozlíšením. Ak je obraz zlej kvality alebo obsahuje nečitateľný text, model sa môže snažiť získať z nej zmysluplné informácie [2] [6].
5. Advanced Analysis Techniques: Na sofistikovanejšiu analýzu, ako je extrahovanie textu z obrázkov pomocou optického rozpoznávania znakov (OCR) alebo analýzy grafov a diagramov, budete musieť kombinovať GPT-4,5 s inými nástrojmi alebo knižnicami, ako je Tesseract pre techniky spracovania OCR a na manipuláciu s komplexným vizuálnym obsahom [2].
Stručne povedané, GPT-4,5 môže účinne analyzovať obrázky, ak sú extrahované z PDF a prezentované osobitne, využívajúc svoje schopnosti zraku porozumieť a opísať svoj obsah. Priama analýza obrazov zabudovaných do PDF bez extrakcie však nie je podporovaná.
Citácie:
[1] https://www.reddit.com/r/openai/comments/1c0pg1x/gpt4_and_pdf_analysis/
[2] https://www.youtube.com/watch?v=bwyzu68c77k
[3] https://platform.openai.com/docs/guides/vision
[4] https://www.groff.dev/blog/ingsting-pdfs-with-gpt-vision
[5] https://arxiv.org/abs/2303.08774
[6] https://community.openai.com/t/is-it-possible-to-analyze-images-contain-in-pdf-files/533994
[7] https://cdn.openai.com/gpt-4-5-system-card.pdf
[8] https://community.openai.com/t/what-are-the-imitations-of-gpt-4-in-analyzing-pdf-text/534760