ChatGPT通過(guò)美放射學(xué)委員會(huì)考試 但搜集信息的可靠性仍然堪憂 焦點(diǎn)速看

(資料圖片僅供參考)

加拿大科學(xué)家在16日出版的《放射學(xué)》雜志上刊登新論文稱(chēng)，最新版本的ChatGPT通過(guò)了美國(guó)放射學(xué)委員會(huì)的考試，突出了大型語(yǔ)言模型的潛力，但它也給出了一些錯(cuò)誤答案，表明人們?nèi)孕鑼?duì)其提供的答案進(jìn)行核查。

為評(píng)估ChatGPT在美國(guó)放射學(xué)委員會(huì)考試問(wèn)題上的表現(xiàn)并探索其優(yōu)勢(shì)和局限性，多倫多大學(xué)研究人員首先測(cè)試了基于GPT-3.5的ChatGPT的表現(xiàn)。研究團(tuán)隊(duì)使用了150道選擇題，這些選擇題與加拿大皇家學(xué)院和美國(guó)放射學(xué)委員會(huì)考試的風(fēng)格、內(nèi)容和難度相當(dāng)。這些問(wèn)題不包括圖像，分為低階(知識(shí)回憶、基本理解)和高階(應(yīng)用、分析、綜合)思維問(wèn)題。高階思維問(wèn)題可進(jìn)一步細(xì)分為影像學(xué)表現(xiàn)描述、臨床管理、計(jì)算和分類(lèi)、疾病關(guān)聯(lián)。

研究人員發(fā)現(xiàn)，基于GPT-3.5的ChatGPT的正確率為69%，接近70%的及格線。該模型在低階思維問(wèn)題上表現(xiàn)相對(duì)較好，正確率為84%，但回答高級(jí)思維問(wèn)題時(shí)表現(xiàn)不佳，正確率僅為60%。而性能更優(yōu)異的GPT-4的正確率為81%，且在高階思維問(wèn)題上的正確率為81%，遠(yuǎn)好于GPT-3.5。但GPT-4在低階思維問(wèn)題上的正確率僅為80%，答錯(cuò)了12道題，而GPT-3.5全部答對(duì)了這些題目，這引發(fā)了研究團(tuán)隊(duì)對(duì)GPT-4收集信息的可靠性的擔(dān)憂。

這兩項(xiàng)研究都表明，ChatGPT會(huì)有提供不正確答案的傾向，如果僅僅依靠它獲取信息，非常危險(xiǎn)，因?yàn)槿藗兛赡芤庾R(shí)不到其給出的答案是不準(zhǔn)確的，這是它目前面臨的最大的問(wèn)題。

責(zé)任編輯：Rex_18