ChatGPT在台灣整形外科專科醫師考試中的表現

• 連結

作者 / 謝青華

這項研究首次全面評估了ChatGPT在台灣整形外科專科醫師考試中的表現。研究分析了過去8年共1,375道考題(包括985道單選題和390道複選題)的答題情況。結果顯示，ChatGPT-4的整體正確率達到59%，成功通過了8年考試中的5年，顯著優於ChatGPT-3.5的41%正確率。特別是在單選題方面，ChatGPT-4的正確率達66%，而在較具挑戰性的複選題上也有43%的正確率，都遠超過ChatGPT-3.5的表現(單選題48%,複選題23%)。

研究結果引發了對醫學專科考試改革的深入思考。研究團隊提出了多項建議：首先，建議增加問題導向學習(PBL)型考題，更好地評估考生的臨床思維和問題解決能力；其次，可運用ChatGPT來協助審查題目品質，避免教科書與實際文獻之間的矛盾；第三，建議調整考試方向，從刁鑽難題轉向全方位評估專科醫師所需的綜合能力；最後，建議將AI輔助學習工具納入考生的準備過程，幫助他們更有效地掌握知識要點。

隨著AI技術的快速發展，醫學專科考試的定位和價值需要重新審視。研究指出，未來的考試設計應更注重評估人類獨有的技能，如倫理推理能力、同理心和臨床判斷力等。同時也需要考慮如何在保持考試公正性和有效性的前提下，合理運用AI技術來優化考試流程。

研究也指出目前的局限性，如只關注台灣單一考試、缺乏與人類表現的對照數據，以及未能深入分析不同類型題目的難度等，這些都是未來研究需要進一步探討的方向。整體而言，本研究為醫學專科考試在AI時代的改革提供了重要的實證依據和建設性建議。

研究文章由謝青華醫師完成，發表於Heliyon雜誌。