A GPT-4.5, akárcsak az elődje, a GPT-4, a kémiai kutatás számos korlátozásával szembesül. Ezek a korlátozások döntő fontosságúak a nagy nyelvi modellek ezen a területen történő felhasználásának potenciáljának és kihívásainak megértéséhez.
1. Alapvető ismeretek és speciális feladatok
-Tudásbázis: A GPT-4.5, hasonlóan a GPT-4-hez, erős alapja van a tankönyvek szintjén, beleértve a fizikai és szerves kémiai alapelveket. Előfordulhat azonban, hogy a szerzői jogi korlátozások és a képzési adatok korlátozásai miatt nem fér hozzá a legfrissebb kutatási cikkekhez [1].- Speciális feladatok: Az olyan feladatokban, mint a reakció előrejelzése és a retrosintézis, a GPT modellek általában rosszabb, mint a speciális kémiai adatkészleteken képzett speciális gépi tanulási modellek, mint a speciális gépi tanulási modellek [8]. Ez azt jelzi, hogy míg a GPT-4.5 általános betekintést nyújthat, lehet, hogy ez nem olyan hatékony a komplex, speciális kémiai feladatokban.
2. Adatelemzés és megjelenítés
- A GPT-4.5, a többi nagy nyelvi modellhez hasonlóan, a komplex adatelemzés bemutatásával küzd egyértelmű és tömör módon, ideértve a vizualizációk, táblázatok és grafikonok használatát is [2]. Ez a korlátozás kevésbé hatékony a kutatók számára, akiknek hatékonyan kell kommunikálniuk a komplex eredményeket.- Hiányzik az a képesség, hogy mélyen megértse a statisztikai módszertant, azonosítsa az elfogultságot és kezelje a hiányzó adatokat, amelyek kritikus képességek az adatok elemzésében [2].
3. Irodalmi áttekintés és forrásértékelés
- A GPT-4.5 nem tudja átfogóan ellenőrizni az akadémiai forrásokat, ami elengedhetetlen az alapvető irodalmi áttekintések elvégzéséhez. Küzdhet a magas színvonalú és a kevésbé megbízható források megkülönböztetése érdekében, ami potenciálisan pontatlanságokat eredményez a generált áttekintések során [2].- A modell képtelensége a hivatkozott cikkek pontos listájának megadására egy másik korlátozás a tudományos dokumentumok írásakor [6].
4. Kémiai szintézis és kísérleti eljárások
-A GPT-4.5, a GPT-4-hez hasonlóan, nem nyújt pontos vagy részletes kísérleti eljárásokat a kémiai szintézishez a biztonsági aggályok és a komplex kémiai reakciók megértésének korlátozása miatt [1]. Javasolhat kémiailag helytelen szintézis -útvonalakat vagy félreértett reakciómechanizmusokat.- A modell képtelensége az összetett nevekből származó molekuláris struktúrák pontos becslésére helytelen érveléshez vezethet a keminformatikai feladatokban [1].
5. Integráció speciális eszközökkel
- A kémiai reakciókat magában foglaló feladatok esetében a GPT-4.5 részesülhet a speciális vegyi szoftverekkel vagy a programozási nyelvekkel való integrációból, hogy javítsa teljesítményét [1]. Ez az integráció hozzájárulhat a komplex kémiai adatok és reakciók kezelésének korlátozásainak leküzdéséhez.6. Etikai és biztonsági megfontolások
- A GPT-4.5, amint azt a rendszerkártya megjegyezte, közepes kockázatot jelent a kémiai és a biológiai fenyegetések létrehozásában, mivel képes segíteni az ismert fenyegetések operatív tervezését [3]. Ezt a kockázatot azonban enyhíti az a feltételezés, hogy a felhasználók már jelentős domain szakértelemmel rendelkeznek.Összefoglalva: míg a GPT-4.5 ígéretes képességeket kínál a kémiai kutatásokban, például az alapvető ismeretek és az adatok elemzése, a speciális feladatok, az adatok megjelenítése, az irodalmi áttekintés és a biztonsági megfontolások jelentős korlátozásaival szembesülnek. Hatékonysága fokozódik, ha speciális eszközökkel és domain szakértelemmel együtt használják.
Idézetek:
[1] https://chemrxiv.org/engage/api-gateway/chemrxiv/assets/orp/resource/item/647d305dbe16ad5c577b6627/original/prompt-engineering-of-gpt-4-for-chemical-research-what-can-cannot-be-done.pdf
[2] https://www.enago.com/academy/chatgpt-cannot-do-for-researchers-2/
[3] https://cdn.openai.com/gpt-4-5-system-card.pdf
[4] https://community.openai.com/t/what-re-the-limitations-of-gpt-4-in-analyzing-pdf-text/534760
[5] https://www.tandfonline.com/doi/full/10.1080/27660400.2023.2260300
[6] https://pmc.ncbi.nlm.nih.gov/articles/pmc11184879/
[7] https://www.reddit.com/r/chatgpt/comments/1iznoek/gpt45_system_card_mmlu_896/
[8] https://arxiv.org/html/2305.18365v3