ChatGPTが医師国家試験「合格」も、診療利用に不向きな理由

有料記事ChatGPT

枝松佑樹
[PR]

 生成AI(人工知能)のChatGPTチャットGPT)に今年の医師国家試験に挑ませたところ、正答率が合格ラインを超えたと、オンライン診療を手がけるMICIN(マイシン)(東京)と金沢大学が、専門家による査読前の論文として公開した。ただ研究チームは、チャットGPTを医療目的で使うのは「慎重になるべきだ」としている。

 チャットGPTはこれまで、米国の医師免許試験などで高得点を挙げてきた。非英語圏の臨床現場での有効性を探るため、研究の対象にしたという。

 研究チームはまず、日本の昨年の医師国家試験のうち、画像を見ずに回答できる問題文について、チャットGPTに日本語のまま入力した。結果は、正答率が52・8%にとどまった。チャットGPTの学習データの多くが英語圏のネット情報に由来するとみられるからだという。

 そこで研究チームは、チャットGPT自身に日本語の問題文を平易な英語に翻訳させた。さらに問題の種類別に入力内容を調整し、最新版「GPT4」を使って回答させたところ、正答率は82・8%にまで急上昇した。

 同じ方法で、今年の試験のうち画像のない問題を解かせると、正答率は78・6%だった。内訳は必修問題82・7%、基礎・臨床問題77・2%で、それぞれ合格ラインを超えたという。まだ画像の認識機能は不十分なため、画像のある問題は除いていたが、それを含めても合格ラインに近い得点だった。

 しかし、研究チームは間違えた回答の内容を問題視。「時代遅れで、致命的に不正確な回答があった」と指摘した。

 例えば、過換気症候群(過呼…

この記事は有料記事です。残り578文字有料会員になると続きをお読みいただけます。

【本日23:59まで!】有料記事読み放題!スタンダードコースが今なら2カ月間月額100円!詳しくはこちら