GPT-4.5, podobnie jak jego poprzednik GPT-4, stoi przed kilkoma ograniczeniami w badaniach chemicznych. Ograniczenia te mają kluczowe znaczenie dla zrozumienia potencjału i wyzwań związanych z korzystaniem z dużych modeli językowych w tej dziedzinie.
1. Znana wiedza i wyspecjalizowane zadania
-Baza wiedzy: GPT-4.5, podobnie jak GPT-4, ma silny podstawa w chemii na poziomie podręcznika, w tym zasady chemii fizycznej i organicznej. Może jednak nie mieć dostępu do najnowszych artykułów badawczych z powodu ograniczeń praw autorskich i ograniczeń danych szkoleniowych [1].- Zadania wyspecjalizowane: W zadaniach takich jak przewidywanie reakcji i retrosynteza modele GPT działają ogólnie gorsze niż wyspecjalizowane modele uczenia maszynowego przeszkolone w zakresie określonych zestawów danych chemicznych [8]. Wskazuje to, że chociaż GPT-4.5 może zapewnić ogólny wgląd, może nie być tak skuteczny w złożonych, wyspecjalizowanych zadaniach chemicznych.
2. Analiza danych i wizualizacja
- GPT-4.5, podobnie jak inne duże modele językowe, zmaga się z prezentowaniem złożonych analizy danych, powoduje wyraźny i zwięzły sposób, w tym korzystanie z wizualizacji, tabel i wykresów [2]. To ograniczenie sprawia, że jest mniej skuteczne dla badaczy, którzy muszą skutecznie komunikować złożone wyniki.- Brakuje mu zdolności do głębokiego zrozumienia metodologii statystycznych, identyfikacji uprzedzeń i obsługi brakujących danych, które są kluczowymi umiejętnościami w analizie danych [2].
3. Przegląd literatury i ocena źródła
- GPT-4.5 nie może kompleksowo analizować źródeł akademickich, co jest niezbędne do przeprowadzenia dokładnych przeglądów literatury. Może walczyć o rozróżnienie między wysokiej jakości i mniej niezawodnymi źródłami, potencjalnie prowadząc do niedokładności w wygenerowanych recenzjach [2].- Niezdolność modelu do dostarczenia dokładnych list artykułów odwołanych jest kolejnym ograniczeniem podczas pisania dokumentów naukowych [6].
4. Synteza chemiczna i procedury eksperymentalne
-GPT-4.5, podobny do GPT-4, może nie zapewniać dokładnych lub szczegółowych procedur eksperymentalnych syntezy chemicznej ze względu na obawy dotyczące bezpieczeństwa i ograniczenia w zrozumieniu złożonych reakcji chemicznych [1]. Może proponować chemicznie niepoprawne drogi syntezy lub nieporozumienie mechanizmy reakcji.- Niezdolność modelu do dokładnego oszacowania struktur molekularnych na podstawie nazw związków może prowadzić do niepoprawnego rozumowania w zadaniach cheminformatycznych [1].
5. Integracja ze specjalistycznymi narzędziami
- W przypadku zadań obejmujących reakcje chemiczne GPT-4.5 może skorzystać ze integracji ze specjalistycznym oprogramowaniem chemicznym lub językami programowania w celu zwiększenia jego wydajności [1]. Ta integracja może pomóc w przezwyciężeniu niektórych ograniczeń w zakresie obsługi złożonych danych chemicznych i reakcji.6. Rozważania etyczne i bezpieczeństwa
- GPT-4.5, jak zauważono na karcie systemowej, stanowi średnie ryzyko w tworzeniu zagrożeń chemicznych i biologicznych ze względu na jego zdolność do pomocy w planowaniu operacyjnym dla znanych zagrożeń [3]. Ryzyko to jest jednak łagodzone przez założenie, że użytkownicy mają już znaczącą wiedzę specjalistyczną w dziedzinie.Podsumowując, podczas gdy GPT-4.5 oferuje obiecujące możliwości badań chemicznych, takie jak podstawowa wiedza i analiza danych, stoi w obliczu znacznych ograniczeń w specjalistycznych zadaniach, wizualizacji danych, przeglądu literatury i rozważaniach związanych z bezpieczeństwem. Jego skuteczność jest zwiększona w połączeniu ze specjalistycznymi narzędziami i wiedzą specjalistyczną w dziedzinie.
Cytaty:
[1] https://chemrxiv.org/engage/api-gateway/chemrxiv/assets/orp/resource/item/647d305dbe16ad5c577b6627/original/prompt-engineering--gpt-4-for-chemical-research-what-can-canot-be-done.pdfdf
[2] https://www.enago.com/academy/chatgpt-cannot-for-for-researchers-2/
[3] https://cdn.openai.com/gpt-4-5-system-card.pdf
[4] https://community.openai.com/t/what-are-the-limitations-of-gpt-4-in-analyzing-pdf-text/534760
[5] https://www.tandfonline.com/doi/full/10.1080/27660400.2023.2260300
[6] https://pmc.ncbi.nlm.nih.gov/articles/pmc11184879/
[7] https://www.reddit.com/r/chatgpt/comments/1iznoek/gpt45_system_card_mmlu_896/
[8] https://arxiv.org/html/2305.18365v3