新聞：用于總結(jié)科學文獻的新AI模型現(xiàn)在可以幫助研究人員涉獵并確定他們想閱讀的最新前沿論文。11月16日，艾倫人工智能研究所(AI2)將模型推廣到其旗艦產(chǎn)品Semantic Sc??holar，這是一種由AI驅(qū)動的科學論文搜索引擎。當用戶使用搜索功能或進入作者頁面時，它在每篇計算機科學論文(目前)下提供一句tl; dr(太長;沒有閱讀)摘要。這項工作也被本周的“自然語言處理的經(jīng)驗方法”會議接受。

背景：在信息過載的時代，使用AI來總結(jié)文本一直是一個流行的自然語言處理(NLP)問題。有兩種一般方法可以完成此任務。一個被稱為“抽取式”，它試圖從逐字記錄中找到一個句子或一組句子，以抓住其本質(zhì)。另一個被稱為“抽象的”，涉及生成新的句子。盡管由于NLP系統(tǒng)的局限性，提取技術曾經(jīng)更加流行，但是近年來自然語言生成的進步使抽象技術變得更好了。

他們是如何做到的： AI2的抽象模型使用了所謂的變壓器-一種神經(jīng)網(wǎng)絡架構(gòu)，于2017年首次發(fā)明，此后推動了NLP的所有重大飛躍，包括OpenAI的GPT-3。研究人員首先在通用的語料庫上訓練了轉(zhuǎn)換器，以建立對英語的基本熟悉程度。此過程稱為“預訓練”，是使變壓器如此強大的部分原因。然后，他們針對匯總的特定任務微調(diào)了模型(換句話說，對其進行了進一步的培訓)。

微調(diào)數(shù)據(jù)：研究人員首先創(chuàng)建了一個名為SciTldr的數(shù)據(jù)集，其中包含大約5400對科學論文和相應的單句摘要。為了找到這些高質(zhì)量的摘要，他們首先在OpenReview上尋找了它們，OpenReview是一個公開的會議論文提交平臺，研究人員通常在該平臺上發(fā)表自己的論文一句摘要。這提供了兩千對。然后，研究人員雇用了注釋者，通過閱讀和進一步濃縮同行評審員已經(jīng)撰寫的摘要來總結(jié)更多論文。