《電子技術應用》
您所在的位置:首頁 > 人工智能 > 業界動態 > OpenAI宣布開源SimpleQA新基準

OpenAI宣布開源SimpleQA新基準

專治大模型“胡言亂語”
2024-10-31
來源:IT之家
關鍵詞: OpenAI SimpleQA 大模型

當地時間 30 日,OpenAI 宣布,為了衡量語言模型的準確性,將開源一個名為 SimpleQA 的新基準,可衡量語言模型回答簡短的事實尋求(fact-seeking)問題的能力。

AI 領域中的一個開放性難題是如何訓練模型生成事實正確的回答。當前的語言模型有時會產生錯誤輸出或未經證實的答案,這一問題被稱為“幻覺”。能夠生成更準確、更少幻覺的回答的語言模型更為可靠,可以用于更廣泛的應用領域。

0.jpg

OpenAI 表示,目標是使用 SimpleQA 創建一個具備以下特點的數據集:

高正確性:問題的參考答案由兩名獨立的 AI 訓練師驗證,以確保評分的公正性。

多樣性:SimpleQA 涵蓋廣泛主題,從科學技術到電視節目與電子游戲應有盡有。

前沿挑戰性:與 TriviaQA(2017 年)或 NQ(2019 年)等早期基準相比,SimpleQA 更具挑戰性,尤其針對如 GPT-4o 等前沿模型(例如,GPT-4o 的得分不足 40%)。

高效用戶體驗:SimpleQA 問題與答案簡潔明了,使操作快速高效,并可通過 OpenAI API 等進行快速評分。此外,包含 4326 道問題的 SimpleQA 在評估中應具有較低的方差。

SimpleQA 將是一個簡單但具有挑戰性的基準,用于評估前沿模型的事實準確性。SimpleQA 的主要限制在于其范圍 —— 盡管 SimpleQA 準確,但它只在短查詢的受限設置中測量事實準確性,這些查詢是事實導向的,并且有一個可驗證的答案。

OpenAI 表示,模型在短回答中表現出的事實性是否與其在長篇、多事實內容中的表現相關,這仍是個懸而未決的研究課題。其希望 SimpleQA 的開源能夠進一步推動 AI 研究的發展,使模型更加可信并富有可靠性。 


Magazine.Subscription.jpg

本站內容除特別聲明的原創文章之外,轉載內容只為傳遞更多信息,并不代表本網站贊同其觀點。轉載的所有的文章、圖片、音/視頻文件等資料的版權歸版權所有權人所有。本站采用的非本站原創文章及圖片等內容無法一一聯系確認版權者。如涉及作品內容、版權和其它問題,請及時通過電子郵件或電話通知我們,以便迅速采取適當措施,避免給雙方造成不必要的經濟損失。聯系電話:010-82306118;郵箱:aet@chinaaet.com。
主站蜘蛛池模板: 9久re在线观看视频精品 | 一区二区三区免费视频播放器 | 免费观看一级欧美大 | 亚洲国产一区在线 | 久久久久久久网站 | 男女无遮挡拍拍拍免费1000 | 亚洲欧美在线一区二区 | 香蕉依依精品视频在线播放 | 99久久国内精品成人免费 | 国产精品九九九久久九九 | 美女mm131爽爽爽免费视色 | 久久久精品视频免费观看 | 日韩特级片 | 窝窝午夜精品一区二区 | 成人三级毛片 | 波多野结衣一区二区三区高清在线 | 99精品在免费线视频 | a级毛片在线免费看 | a国产| 99精品久久精品一区二区 | 99国产精品九九视频免费看 | 亚洲性生活视频 | 国产精品秦先生手机在线 | 久久久青青久久国产精品 | 亚洲视频日韩视频 | 欧美日韩一区二区三区在线观看 | 欧美xxxxx色视频在线观看 | 欧美亚洲在线观看 | 日韩高清不卡在线 | 国产精品亚洲玖玖玖在线靠爱 | 美国a毛片 | 日韩精品在线一区二区 | 国产日韩欧美一区二区三区综合 | 222aaa免费国产在线观看 | 亚洲精品一区 | 亚洲毛片在线看 | 日韩成人三级 | 日韩欧美日本 | 国产一区二区不卡 | 成a人v| 99re8免费视频精品全部 |