GPT-4,5, rovnako ako jeho predchodca GPT-4, čelí niekoľkým obmedzeniam v chemickom výskume. Tieto obmedzenia sú rozhodujúce pre pochopenie potenciálu a výziev pri používaní veľkých jazykových modelov v tejto oblasti.
1. Základné znalosti a špecializované úlohy
-Znalostná základňa: GPT-4,5, podobná GPT-4, má silný základ v chémii na úrovni učebnice vrátane princípov fyzikálnej a organickej chémie. Nemusí však mať prístup k najnovším výskumným článkom z dôvodu obmedzení autorských práv a obmedzení údajov o školení [1].- Špecializované úlohy: Pri úlohách, ako je predikcia reakcie a retrosyntéza, modely GPT vo všeobecnosti fungujú horšie ako špecializované modely strojového učenia vyškolené na špecifických chemických súboroch údajov [8]. To naznačuje, že zatiaľ čo GPT-4,5 môže poskytnúť všeobecné poznatky, nemusí byť taký účinný v zložitých špecializovaných chemických úlohách.
2. Analýza a vizualizácia údajov
- GPT-4,5, rovnako ako iné modely veľkých jazykov, bojuje s prezentáciou komplexnej analýzy údajov jasným a stručným spôsobom vrátane použitia vizualizácií, tabuliek a grafov [2]. Toto obmedzenie je menej efektívne pre výskumných pracovníkov, ktorí potrebujú efektívne komunikovať zložité zistenia.- Chýba mu schopnosť hlboko porozumieť štatistickým metodikám, identifikovať zaujatosti a zvládnuť chýbajúce údaje, ktoré sú kritickými zručnosťami v analýze údajov [2].
3. Prehľad literatúry a hodnotenie zdroja
- GPT-4,5 nemôže komplexne kontrolovať akademické zdroje, čo je nevyhnutné na vykonávanie dôkladných recenzií literatúry. Môže sa snažiť rozlíšiť medzi vysokokvalitnými a menej spoľahlivými zdrojmi, čo potenciálne vedie k nepresnostiam pri generovaných prehľadoch [2].- Neschopnosť modelu poskytnúť presné zoznamy referenčných článkov je ďalším obmedzením pri písaní vedeckých prác [6].
4. Chemická syntéza a experimentálne postupy
-GPT-4,5, podobný GPT-4, nemusí poskytovať presné alebo podrobné experimentálne postupy chemickej syntézy v dôsledku bezpečnostných problémov a obmedzení v porozumení komplexných chemických reakcií [1]. Môže navrhovať chemicky nesprávne syntetické trasy alebo nepochopiť reakčné mechanizmy.- Neschopnosť modelu presne odhadnúť molekulárne štruktúry z názvov zlúčenín môže viesť k nesprávnemu zdôvodneniu v cheminformatických úlohách [1].
5. Integrácia so špecializovanými nástrojmi
- V prípade úloh zahŕňajúcich chemické reakcie môže GPT-4.5 mať úžitok z integrácie so špecializovaným chemickým softvérom alebo programovacím jazykom na zlepšenie jeho výkonu [1]. Táto integrácia by mohla pomôcť prekonať niektoré jej obmedzenia pri riešení komplexných chemických údajov a reakcií.6. Etické a bezpečnostné úvahy
- GPT-4,5, ako je uvedené na systémovej karte, predstavuje stredné riziko pri tvorbe chemických a biologických hrozieb kvôli svojej schopnosti pomáhať pri prevádzkovom plánovaní známych hrozieb [3]. Toto riziko sa však zmierňuje predpokladom, že používatelia už majú významné odborné znalosti v oblasti domény.Stručne povedané, zatiaľ čo GPT-4,5 ponúka sľubné schopnosti v chemickom výskume, ako sú základné znalosti a analýza údajov, čelí významným obmedzeniam v špecializovaných úlohách, vizualizácii údajov, prehľade literatúry a úvahami o bezpečnosti. Jeho účinnosť sa zvyšuje, keď sa používa v spojení so špecializovanými nástrojmi a odbornými znalosťami domén.
Citácie:
[1] https://chemrxiv.org/engage/api-gateway/chemrxiv/assets/orp/resource/item/647d305dbe16ad5c577b66627/original/prompt-inineering-of-gpt- gpt- gpt- gpt- gpt- gpt-4-for-cor-searchwapatwhat-cancancan--be---done.
[2] https://www.enago.com/academy/chatgpt-cannot-dor-for-researchers-2/
[3] https://cdn.openai.com/gpt-4-5-system-card.pdf
[4] https://community.openai.com/t/what-are-the-imitations-of-gpt-4-in-analyzing-pdf-text/534760
[5] https://www.tandfonline.com/doi/full/10.1080/27660400.2023.2260300
[6] https://pmc.ncbi.nlm.nih.gov/articles/pmc1184879/
[7] https://www.reddit.com/r/chatgpt/comments/1iznoek/gpt45_system_card_mmlu_896/
[8] https://arxiv.org/html/2305.18365V3