【文匯網訊】據光明網報道,讓機器具備自然語言的閱讀理解與問答能力,是當前人工智能的核心難題之一,也是微軟、CMU、斯坦福大學等機構的頂級人工智能專家、學者正在從事的尖端科研項目。而在剛剛閉幕的2018 ASC世界大學生超算競賽(ASC18)中,上海科技大學5位平均年齡20出頭的年輕大學生,在大賽指定的微軟機器閱讀理解賽題中,針對模型算法和訓練性能提出了自己獨特的創新及改進,8小時內完成大規模數據集的並行模型訓練,並實現46.46的高預測精度,接近世界前沿先進水平,獲得唯一的e Prize計算挑戰獎。
e Prize計算挑戰獎是ASC競賽獨有的獎項,旨在打造青年人才的戈登·貝爾獎(Gordon Bell Prize),鼓勵青年人才勇於解決超算應用難題敢於挑戰計算性能極限,激勵青年人才利用超級計算機推動科學與工程領域實現應用突破。獎項命名來源於,e是科學中最重要的自然常數,同時也代表著人類下一個超級計算機性能的挑戰目標——百億億次(exascale)。
ASC18的e Prize計算挑戰獎賽題是由微軟提供的人工智能機器閱讀理解,這道賽題要求參賽隊使用自己搭建的超算系統運用CNTK深度學習框架,獨立開發機器閱讀理解和問答的算法模型,使用最新超算技術結合MS MARCO數據集進行訓練,最終實現讓機器准確地回答問題。
MS MARCO是由微軟開發的機器閱讀理解與問答的數據庫,這個數據集是基於bing和Cortana上收集的真實數據構建的,包括100,000個問題,100萬個段落,以及超過20萬個文件的鏈接。此次ASC18總決賽使用的數據集包括近10萬個人工標注的問題及其答案,基准代碼使用單節點單塊NVIDIA Tesla P100 GPU訓練耗時接近一天,基准預測精度值為30(ROUGE-L=30)。而在決賽中,每支隊伍的訓練時間不會超過12小時,要想在如此短的時間內得到更高的ROUGE-L值,不僅要在訓練集群上優化代碼性能以更快的找到最佳參數,還需要對算法模型進行創新和改進來達到更好的預測精度。
首次入圍總決賽的上海科技大學展現出令評審專家為之驚歎的AI模型設計與優化能力,在數據、算法和訓練方法上都實現了相當有效的改進。在數據上,隊員們對組委會提供的訓練數據集予以擴充,以獲得更多的訓練樣本;在算法上,隊員們使用多任務同時訓練的方式對答案進行重新排序,並集成多個優秀的模型。最終,上海科技大學代表隊使用浪潮AI超算服務器NF5280M5搭配Tesla V100 GPU加速器構建了先進的異構加速超算系統,在8個小時內完成10萬樣本級別的大規模數據集的並行模型訓練,並實現46.46的高預測精度,接近當今世界上最先進的算法能達到的水平,以滿分成績獲得e Prize計算挑戰獎。
微軟相關負責人認為,就本科生的知識結構和優化能力而言,能在不到8小時內訓練出如此高精度的模型,這是非常了不起的成績,體現出上海科技大學的隊員們非凡的創造力、對AI模型的深刻理解以及與之相匹配的實際動手能力。
此外,總冠軍得主清華大學和獲得最高計算性能獎的台灣清華大學也在該賽題上表現出色,預測精度值均超過40。其中,清華大學在訓練和數據處理上,性能相比基准代碼實現了3-30倍的提升。
在人工智能機器閱讀理解賽題上,從初賽的小試牛刀到決賽的驚豔成績,背後蘊藏著數個月來大學生們研讀最新論文,實現算法以及性能優化的艱辛努力。在賽後交流中,絕大多數參賽隊員們表示都是第一次接觸到深度學習賽題,很多隊伍參考了諸如S-NET和QANet等最新學術成果。通過ASC競賽,參賽學生得以更加深入的理解HPC與AI如何更好的進行融合,這不僅對他們未來的職業規劃和發展帶來深遠影響,也將有助於緩解當前AI人才短缺的局面,為AI真正滲透到生產、生活以及社會各個方面奠定發展的根基。
責任編輯:遠航