GPT-4.5, giống như người tiền nhiệm GPT-4, phải đối mặt với một số hạn chế trong nghiên cứu hóa học. Những hạn chế này là rất quan trọng để hiểu tiềm năng và thách thức của việc sử dụng các mô hình ngôn ngữ lớn trong lĩnh vực này.
1. Kiến thức nền tảng và các nhiệm vụ chuyên môn
-Cơ sở kiến thức: GPT-4.5, tương tự như GPT-4, có một nền tảng vững chắc trong hóa học cấp sách giáo khoa, bao gồm các nguyên tắc hóa học vật lý và hữu cơ. Tuy nhiên, nó có thể không có quyền truy cập vào các bài viết nghiên cứu mới nhất do hạn chế bản quyền và giới hạn dữ liệu đào tạo [1].- Nhiệm vụ chuyên môn: Trong các nhiệm vụ như dự đoán phản ứng và tái tổng hợp, các mô hình GPT thường hoạt động kém hơn so với các mô hình học máy chuyên dụng được đào tạo trên các bộ dữ liệu hóa học cụ thể [8]. Điều này chỉ ra rằng trong khi GPT-4.5 có thể cung cấp những hiểu biết chung, nó có thể không có hiệu quả trong các nhiệm vụ hóa học chuyên biệt, phức tạp.
2. Phân tích và trực quan hóa dữ liệu
- GPT-4.5, giống như các mô hình ngôn ngữ lớn khác, đấu tranh với việc trình bày phân tích dữ liệu phức tạp dẫn đến một cách rõ ràng và súc tích, bao gồm việc sử dụng trực quan hóa, bảng và đồ thị [2]. Hạn chế này làm cho nó kém hiệu quả đối với các nhà nghiên cứu cần truyền đạt các phát hiện phức tạp một cách hiệu quả.- Nó thiếu khả năng hiểu sâu về các phương pháp thống kê, xác định các thành kiến và xử lý dữ liệu bị thiếu, đó là những kỹ năng quan trọng trong phân tích dữ liệu [2].
3. Đánh giá và đánh giá nguồn tài liệu
- GPT-4.5 không thể xem xét kỹ lưỡng các nguồn học thuật một cách toàn diện, điều này rất cần thiết để thực hiện các đánh giá văn học kỹ lưỡng. Nó có thể đấu tranh để phân biệt giữa các nguồn chất lượng cao và kém đáng tin cậy, có khả năng dẫn đến sự không chính xác trong các đánh giá được tạo ra [2].- Mô hình không có khả năng cung cấp danh sách chính xác các bài báo được tham chiếu là một hạn chế khác khi viết các bài báo khoa học [6].
4. Tổng hợp hóa học và quy trình thí nghiệm
-GPT-4.5, tương tự như GPT-4, có thể không cung cấp các quy trình thử nghiệm chính xác hoặc chi tiết để tổng hợp hóa học do những lo ngại và hạn chế về an toàn trong việc hiểu các phản ứng hóa học phức tạp [1]. Nó có thể đề xuất các tuyến tổng hợp không chính xác về mặt hóa học hoặc hiểu sai các cơ chế phản ứng.- Mô hình không có khả năng ước tính chính xác các cấu trúc phân tử từ các tên hợp chất có thể dẫn đến lý luận không chính xác trong các nhiệm vụ hóa học [1].
5. Tích hợp với các công cụ chuyên dụng
- Đối với các nhiệm vụ liên quan đến các phản ứng hóa học, GPT-4.5 có thể được hưởng lợi từ việc tích hợp với phần mềm hóa học chuyên dụng hoặc ngôn ngữ lập trình để nâng cao hiệu suất của nó [1]. Sự tích hợp này có thể giúp khắc phục một số hạn chế của nó trong việc xử lý dữ liệu và phản ứng hóa học phức tạp.6. Cân nhắc về đạo đức và an toàn
- GPT-4.5, như đã lưu ý trong thẻ hệ thống, có nguy cơ trung bình trong việc tạo ra mối đe dọa hóa học và sinh học do khả năng hỗ trợ lập kế hoạch vận hành cho các mối đe dọa đã biết [3]. Tuy nhiên, rủi ro này được giảm thiểu bởi giả định rằng người dùng đã có chuyên môn về miền đáng kể.Tóm lại, trong khi GPT-4.5 cung cấp các khả năng đầy hứa hẹn trong nghiên cứu hóa học, chẳng hạn như kiến thức và phân tích dữ liệu, nó phải đối mặt với những hạn chế đáng kể trong các nhiệm vụ chuyên ngành, trực quan hóa dữ liệu, xem xét tài liệu và xem xét an toàn. Hiệu quả của nó được tăng cường khi được sử dụng cùng với các công cụ chuyên dụng và chuyên môn miền.
Trích dẫn:
[1] https://chemrxiv.org/engage/api-gateway/chemrxiv/assets/orp/resource/item/647d305dbe16ad5c577b6627/original/prompt-engineering-of-gpt-4-for-chemical-research-what-can-cannot-be-done.pdf
[2] https://www.enago.com/academy/chatgpt-cannot-do-for-researchers-2/
[3] https://cdn.openai.com/gpt-4-5-system-card.pdf
[4] https://community.openai.com/t/what-are-the-limitations-of-gpt-4-in-analyzing-pdf-text/534760
[5] https://www.tandfonline.com/doi/full/10.1080/27660400.2023.2260300
[6] https://pmc.ncbi.nlm.nih.gov/articles/pmc11184879/
[7] https://www.reddit.com/r/chatgpt/comments/
[8] https://arxiv.org/html/2305.18365v3