ChatGPT、医師の国家試験55%正解 医学生も驚く実力と弱点

有料記事ChatGPT

竹野内崇宏
[PR]

 対話能力が高く、無料で使えるAI(人工知能)「ChatGPTチャットGPT)」。実力は果たしてどれぐらいなのか。医師を志す医学部4年生が、2月にあった日本の医師国家試験を解かせてみた。結果は、正答率55%と合格基準には届かなかったが、自身が解いた成績を上回った。「将来、AIに気軽に聞けるようになるかも知れない。医学の勉強方法も変わる」と驚いている。

 チャットGPTは米新興企業オープンAIによる対話型AI。特定の分野に特化した学習をしていないにもかかわらず、米国でも医師資格試験やMBA(経営学修士)試験を解かせて、合格ラインに達した、との研究や報道が相次いでいる。こうした対話型AIが、将来的には臨床現場でも医師の診療を助けることが期待されている。

 そこでチャットGPTの日本語での実力を測ろうと、北海道大学医学部4年生の金田侑大さんらは今年2月に実施された第117回の医師国家試験の問題にどれほど正解できるか、確かめることにした。

 試験は医師の国家資格を得るため、一般に医学部6年生から受けることができ、問題文は受験生が持ち帰ることができる。厚生労働省が例年、問題文を後日ウェブサイトで公表する。

 金田さんは先輩受験生の持ち帰った問題全400問の文章と答えの選択肢を、手入力でチャットGPTの記入欄に入力。医学系予備校が発表している正答例を参考に採点し、今月10日に査読前のプレプリント論文を公開した(https://www.preprints.org/manuscript/202303.0191/v1別ウインドウで開きます)。

 チャットGPTにどう解かせるのか。例えば、このような形式だ。

ここから続き

 問題文:「62歳の女性。皮…

この記事は有料記事です。残り1047文字有料会員になると続きをお読みいただけます。

※無料期間中に解約した場合、料金はかかりません

  • commentatorHeader
    遠藤謙
    (エンジニア)
    2023年3月28日23時42分 投稿
    【視点】

    AIは間違える。人も間違える。 我々はこれまでは、コンピュータに正確さを求めてきた。今後AIの評価基準は正しさだけではなく、月20万円で使えるAIと月20万円で雇える人どっちが会社にとって有益か、という評価になるのではと思う。 医者

    …続きを読む
  • commentatorHeader
    伊藤大地
    (朝日新聞デジタル編集長)
    2023年3月24日10時24分 投稿
    【視点】

    AIの話になると、「人の仕事を奪うか」という論点で恐れおののき、「欠点は」という論点でホッとする、感情のジェットコースターに乗ったような感覚に襲われます。 AIの世界では有名な話ですが、AIの知性を判定するテストとしてイギリスの数学者

    …続きを読む