即時文摘

ChatGPT能否提供最新最準確的新聞?(文:梁家權) (09:00)

隨着人工智能聊天機械人(AI chatbot)愈趨普及,現時不少人都會利用這些工具來搜尋資訊,不過其可信性卻成疑。在教育界,不少學校和教師都會擔心學生在做功課的過程中,不當使用AI chatbot,不單學習了錯誤知識,而且更會犯上搬字過紙的抄襲問題。而在新聞界,傳媒亦有同樣關注。當讀者透過AI chatbot來搜索新聞,又是否能夠得到準確無誤的新聞呢?

最近英國牛津大學路透新聞研究所發表研究報告(註),回答了上述問題。該研究所在今年1至2月期間,選取了兩大AI chatbot平台——OpenAI的ChatGPT和Google的Bard(現稱Gemini)——作為研究對象。研究範圍覆蓋了10個國家,包括巴西、丹麥、德國、印度、墨西哥、挪威、波蘭、西班牙、英國及美國。

研究團隊在每個地方挑選15間最受歡迎的網上新聞機構,分別3次向兩個AI平台索取每間機構的5條新聞標題,一共提出4500個問題(10個國家×15間機構×5條新聞標題×2個AI chatbot平台×3次)。為檢測兩個AI chatbot平台回覆的新聞標題是否最新和準確,研究團隊同時記錄該些新聞機構在網頁當刻的新聞標題,以作對比。

無法給予「新聞式回應」

該研究有幾個主要發現。第一,兩大AI chatbot平台都不能給予「新聞式回應」(news-like response)。所謂「新聞式回應」,即用家索取新聞後,平台會提供一份包含5條新聞標題的清單,當中或更附有每單新聞的簡短介紹。但如果平台的回覆是表示未能從傳媒機構抓取到新聞內容(unable to access),則會被歸類為「非新聞式回應」(non-news response)。

整體而言,ChatGPT的非新聞式回應比率,為過半的54%,而Bard則高達95%。這結果說明,兩大AI chatbot平台並非有效搜尋新聞資訊的渠道,相信會令AI樂觀主義者大失所望。

新聞搜索可靠度偏低

第二,就算AI chatbot平台能夠提供新聞式回應,但也不保證回應的內容準確。就此,研究人員只集中研究ChatGPT,因為Bard的有效回應樣本太少。按檢測分析,在2250項ChatGPT提問裏面,只有8%的回應是完全脗合傳媒機構網頁上的標題內容。其餘回應情况,包括所羅列的標題不是最新、來自機構官方網頁以外的其他網頁、標題太過模糊未能指向單一具體新聞,以及未能按要求提供所有5篇新聞。換言之,AI chatbot在新聞搜索的可靠度相當之低。

第三,傳媒機構網頁有否攔阻ChatGPT,是影響到能否從該平台索取最新、最準確新聞的一大關鍵。近年,許多傳媒機構為保障自身版權利益,紛紛開始阻截AI平台從它們網站上抓取內容,用作訓練其AI系統。研究發現,如果傳媒機構網頁有攔阻ChatGPT,非新聞式回應的比例高達86%,另外幾乎沒有其他回應是脗合標準的新聞標題。至於沒有攔阻ChatGPT的傳媒機構,非新聞式回應只有20%,而脗合標準新聞標題的回應也有20%。由於AI平台的運作需依靠大量數據,如果欠缺數據輸入,自然沒有輸出。

第四,ChatGPT提供的新聞來源資料不夠精準。研究發現,在那些新聞式回應裏面,大部分(72%)只是附有傳媒機構的網站連結,只有10%有提供具體文章的直接連結,而有18%沒有提供任何連結。故此,用家在大部分情况下,在獲得新聞標題之後,是需要在AI chatbot平台以外的地方(例如搜尋引擎、傳媒機構網頁),再自行搜索個別文章連結。

總結而言,上述研究表示了,AI chatbot迄今為止仍然不是搜尋新聞的好地方。當然,隨着AI技術不斷提升,以及假若AI平台和傳媒機構的關係能夠改善,將來AI chatbot在相關方面的發展,仍然可期。

註:Fletcher, R. et al. (2024). " 'I'm unable to': How Generative AI Chatbots Respond when Asked for the Latest News." Reuters Institute for the Study of Journalism. 

作者是香港樹仁大學新聞與傳播學系助理教授

(本網發表的時事文章若提出批評,旨在指出相關制度、政策或措施存在錯誤或缺點,目的是促使矯正或消除這些錯誤或缺點,循合法途徑予以改善,絕無意圖煽動他人對政府或其他社群產生憎恨、不滿或敵意)

相關字詞﹕

上 / 下一篇新聞