過(guò)去一年里，人工智能、數(shù)據(jù)科學(xué)、機(jī)器學(xué)習(xí)研究有哪些重大進(jìn)展?在接下來(lái)的 2021 年又有哪些主要趨勢(shì)?

2020 年終于要結(jié)束了。也許這不會(huì)是誰(shuí)都喜歡的一年，但 2020 在我們的領(lǐng)域中確實(shí)有了一些顯著的進(jìn)步，而 2021 也有一些值得期待的重要趨勢(shì)。作為年終的傳統(tǒng)，我們的專家們?cè)俅伟l(fā)表了他們的看法。請(qǐng)繼續(xù)閱讀以了解更多信息。

絕對(duì)沒(méi)有人會(huì)感到懊惱，2020 年終于接近尾聲了。新冠肺炎大流行幾乎完全定義了這一年，猶如過(guò)山車一般。但在 2020 年也發(fā)生了其他一些事情，包括人工智能、數(shù)據(jù)科學(xué)和機(jī)器學(xué)習(xí)等領(lǐng)域。為此，現(xiàn)在是 KDnuggets 年度年終專家進(jìn)行分析和預(yù)測(cè)的時(shí)候了。

人工智能、數(shù)據(jù)科學(xué)、機(jī)器學(xué)習(xí)研究在 2020 有哪些重大進(jìn)展?2021 年趨勢(shì)如何?

過(guò)去一年最引人注目的發(fā)展和預(yù)測(cè) 包括許多研究領(lǐng)域的持續(xù)進(jìn)步，特別是自然語(yǔ)言處理。盡管人們對(duì) 2020 年在自然語(yǔ)言處理方面取得的巨大進(jìn)展是否像最初(或者現(xiàn)在)那樣令人生畏仍存在爭(zhēng)議，但毫無(wú)疑問(wèn)，2020 年的自然語(yǔ)言處理研究仍然受到了持續(xù)而強(qiáng)烈的關(guān)注。不難猜測(cè)，這種情況也將持續(xù)到 2021 年。

像倫理和多樣性這樣的主題已經(jīng)在 2019 年占據(jù)了中心舞臺(tái)，在過(guò)去的一年中，它們已經(jīng)占據(jù)了中心舞臺(tái)。人們似乎已經(jīng)從將多樣性、倫理學(xué)以及相關(guān)的主題看作是邊緣問(wèn)題，轉(zhuǎn)向?qū)⑺鼈兣c技術(shù)一起作為機(jī)器學(xué)習(xí)的核心考慮。我們希望這一趨勢(shì)能夠持續(xù)到 2021 年甚至更久。

對(duì)于 202 1 年的主要發(fā)展 趨勢(shì)，我們的專家小組如何看待?他們認(rèn)為 2021 年的主要趨勢(shì)是什么?

這一年，我們的小組由以下成員組成：Dan Becker、Pedro Domingos、Ajit Jaokar、Ines Montani、Brandon Rohrer、Dipanjan Sarkar、Rosaria Silipo、Rachael Tatman 和 Daniel Tunkelang 組成。

相對(duì)于過(guò)去的幾年，我們更要感謝我們的作家們，在這個(gè)動(dòng)蕩的時(shí)代，在百忙之中抽出時(shí)間和我們的讀者們分享他們的觀點(diǎn)。

本文是未來(lái)一周發(fā)布的三篇系列文章中的第一篇— 研究篇。盡管這三篇文章被分為研究、技術(shù)和行業(yè)三個(gè)領(lǐng)域，但它們之間存在相當(dāng)多的重疊，這是可以理解的，因此，我們建議，在這三篇文章全部發(fā)表后，請(qǐng)閱讀所有文章。

閑話少敘，下面是專家小組今年提出的 2020 年的主要趨勢(shì)和 2021 年的預(yù)測(cè)。

Dan Becker(@dan_s_becker)：Decision AI 的創(chuàng)始人，此前曾創(chuàng)立 Kaggle Learn。

今年的機(jī)器學(xué)習(xí)研究遵循了以下既定的主題：

Transformer：GPT-3 是今年所有開(kāi)發(fā)項(xiàng)目中最受關(guān)注的項(xiàng)目，它展示了 Transformer 模型的不斷發(fā)展，該模型經(jīng)過(guò)了大規(guī)模語(yǔ)料庫(kù)的訓(xùn)練。同時(shí)，我們還看到了首次成功地將 Transformer 用于計(jì)算機(jī)視覺(jué)方面的實(shí)驗(yàn)，而計(jì)算機(jī)視覺(jué)在歷史上是由卷積網(wǎng)絡(luò)主導(dǎo)的。

生成模型：像 Vid2Player 這樣的研究表明，計(jì)算機(jī)生成的視頻的質(zhì)量水平超出了我們過(guò)去所看到的水平。生成式模型的社會(huì)影響將是巨大而難以預(yù)測(cè)的。

強(qiáng)化學(xué)習(xí)：我發(fā)現(xiàn)，與前幾年相比，2020 年人們對(duì)強(qiáng)化學(xué)習(xí)的關(guān)注度有所下降。但是在統(tǒng)一政策下，跨任務(wù)的遷移學(xué)習(xí)看起來(lái)非常有前途。我預(yù)計(jì)這在未來(lái)幾年內(nèi)的重要性會(huì)低于 GPT-3，但在更長(zhǎng)的時(shí)間范圍內(nèi)，可能會(huì)變得重要得多。大多數(shù)人并沒(méi)有意識(shí)到，一旦強(qiáng)化學(xué)習(xí)能夠更可靠地工作，它就會(huì)產(chǎn)生巨大的影響。

2021 年：

概率編程和貝葉斯模型：我們已經(jīng)看到了很多新的概率編程語(yǔ)言的實(shí)驗(yàn)。這讓我想起五年前我在深度學(xué)習(xí)框架中看到的實(shí)驗(yàn)。因此，我希望概率編程是 2021 年的一個(gè)主要趨勢(shì)，盡管它也需要對(duì)用戶進(jìn)行更多的教育，以利用新工具。

GPT-4：隨著越來(lái)越多的人使用 GPT-3 進(jìn)行實(shí)驗(yàn)，我想我們會(huì)發(fā)現(xiàn)它有點(diǎn)不夠?qū)嵱谩淖罱内厔?shì)推斷來(lái)看，GPT-4 將會(huì)好得多，并有可能越過(guò)實(shí)際有用的門檻。

用于結(jié)構(gòu)化數(shù)據(jù)的 GPU：NVIDIA RAPIDS 團(tuán)隊(duì)正在開(kāi)發(fā)數(shù)據(jù)科學(xué)工具，這些工具有望突飛猛進(jìn)，超越我們?cè)谶^(guò)去十年中所見(jiàn)到的任何一種工具。我的感覺(jué)是，這個(gè)軟件還沒(méi)有準(zhǔn)備好進(jìn)入黃金時(shí)代，但到了 2021 年可能會(huì)實(shí)現(xiàn)。

AutoML 變得乏味：大多數(shù)數(shù)據(jù)科學(xué)家仍在通過(guò)臨時(shí)實(shí)驗(yàn)來(lái)調(diào)整參數(shù)。用更多的自動(dòng)化解決方案只是個(gè)時(shí)間問(wèn)題，明年也許就會(huì)實(shí)現(xiàn)了。

強(qiáng)化學(xué)習(xí)變得實(shí)際有用：這是我最興奮的地方。傳統(tǒng)的機(jī)器學(xué)習(xí)專注于預(yù)測(cè)，但很少有數(shù)據(jù)科學(xué)家優(yōu)化決策層，將這些預(yù)測(cè)轉(zhuǎn)化為現(xiàn)實(shí)世界的業(yè)務(wù)決策。這造成了模型準(zhǔn)確而無(wú)用。到 2021 年，我們將會(huì)看到思維方式的轉(zhuǎn)變，即在復(fù)雜環(huán)境中使用模型來(lái)做出優(yōu)化決策。

Pedro Domingos(@pmddomingos)：華盛頓大學(xué)計(jì)算機(jī)科學(xué)與工程系教授。

依我看，2020 年的主要發(fā)展是以圖神經(jīng)網(wǎng)絡(luò)和神經(jīng)符號(hào)人工智能作為主要研究方向的出現(xiàn)。到 2021 年，我們將會(huì)看到后者包含前者。圖神經(jīng)網(wǎng)絡(luò)是一種有限的關(guān)系學(xué)習(xí)形式，不久之后，我們就可以用神經(jīng)符號(hào)方法來(lái)完成圖神經(jīng)網(wǎng)絡(luò)的所有功能。

之后，需要為特定應(yīng)用打開(kāi)具有代表性的功能表盤，這通常是過(guò)度控制和擴(kuò)展性的常見(jiàn)問(wèn)題。到了高級(jí)階段，神經(jīng)符號(hào)人工智能可以把我們帶到人類級(jí)別的人工智能，這是一個(gè)萬(wàn)億級(jí)的問(wèn)題。

Ajit Jaokar(@ajitjaokar)：牛津大學(xué)《人工智能：云端和邊緣的實(shí)現(xiàn)》(Artificial Intelligence: Cloud and Edge implementations)課程的課程總監(jiān)、企業(yè)家。

2020 年是新冠肺炎疫情爆發(fā)的一年，但也是科技領(lǐng)域的一年。通過(guò) MLOps 的部署，人工智能逐漸成熟。云計(jì)算平臺(tái)(如：AWS、Azure、GCP)也在人工智能的各個(gè)領(lǐng)域推動(dòng)創(chuàng)新，包括在邊緣設(shè)備上使用人工智能。在 NVIDIA 收購(gòu)了 ARM 之后，我期待著這個(gè)領(lǐng)域出現(xiàn)更多的創(chuàng)新。

自然語(yǔ)言處理 (GPT-3 和其他模型) 是人工智能領(lǐng)域的主要趨勢(shì)。對(duì)于 2021 年來(lái)說(shuō)，真正的問(wèn)題是：小樣本學(xué)習(xí)模型(比如 GPT-3)是否會(huì)改變模型的構(gòu)建的方式?不像傳統(tǒng)的用數(shù)據(jù)反映來(lái)建立模型，我們可以把它顛倒過(guò)來(lái)。只要用一個(gè)很大的模型就可以認(rèn)為是向前傳遞的，即模型 → 問(wèn)題 → 推理。

當(dāng)然，我們需要一個(gè)像 GPT-3 這樣的大型預(yù)訓(xùn)練模型。假如這一趨勢(shì)真的開(kāi)始的話，那么接下來(lái)的兩年里，人工智能將會(huì)發(fā)生改變。

到 2021 年，傳統(tǒng)的機(jī)器學(xué)習(xí)模型可能會(huì)成為一種商品，也就是說(shuō)，每個(gè)人都可以使用某種形式的基本機(jī)器學(xué)習(xí)或深度學(xué)習(xí)。這樣我們就可以從數(shù)據(jù)科學(xué)轉(zhuǎn)向決策科學(xué)。

數(shù)據(jù)科學(xué)的輸出是一個(gè)具有性能指標(biāo)(例如準(zhǔn)確性)的模型。有了決策科學(xué)，我們能夠進(jìn)一步提出行動(dòng)建議并執(zhí)行這些行動(dòng)。也就是說(shuō)，諸如強(qiáng)化學(xué)習(xí)等算法將在 2021 年或更長(zhǎng)時(shí)間內(nèi)成為主流。

Ines Montani(@_inesmontani)：Explosion 的聯(lián)合創(chuàng)始人，從事人工智能和自然語(yǔ)言處理技術(shù)的軟件開(kāi)發(fā)者。

2020 年是不平凡的一年，盡管我們?cè)谶@一領(lǐng)域看到了許多令人振奮的進(jìn)展，但我認(rèn)為，最重要的進(jìn)展是鞏固而非革命。這一技術(shù)在前幾年發(fā)展迅速，對(duì)于很多公司來(lái)說(shuō)，等待是明智的選擇。如今，計(jì)算方式發(fā)生了變化，人們對(duì)哪些項(xiàng)目可能會(huì)成功有了更好的了解。

構(gòu)建原型并將機(jī)器學(xué)習(xí)應(yīng)用于業(yè)務(wù)問(wèn)題從未如此簡(jiǎn)單，但是縮小原型設(shè)計(jì)和將成功的項(xiàng)目交付給生產(chǎn)之間的差距仍然是一個(gè)挑戰(zhàn)。到 2021 年，我們將會(huì)看到越來(lái)越多的人開(kāi)始關(guān)注機(jī)器學(xué)習(xí)項(xiàng)目的整個(gè)生命周期：從原型到生產(chǎn)，從迭代開(kāi)發(fā)到持續(xù)維護(hù)和監(jiān)控。

Brandon Rohrer ：iRobot 的首席數(shù)據(jù)科學(xué)家，也是端到端機(jī)器學(xué)習(xí)的講師

卷積和遞歸神經(jīng)網(wǎng)絡(luò)已經(jīng)開(kāi)始顯示，它們并不能像我們所希望的那樣很好地解決每一個(gè)問(wèn)題。今年有兩篇論文總結(jié)了這一趨勢(shì)。這篇題為《硬件彩票》(The Hardware Lottery)的論文，描述了哪些算法能夠嶄露頭角并成為根深蒂固的行業(yè)標(biāo)準(zhǔn)，這其中有多少偶然性。

此外，這篇題為《描述不足對(duì)現(xiàn)代機(jī)器學(xué)習(xí)的可信度提出了挑戰(zhàn)》(Underspecification Presents Challenges for Credibility in Modern Machine Learning)的論文，則對(duì)我們一直以來(lái)評(píng)估模型和衡量進(jìn)展的方式提出了嚴(yán)厲的批評(píng)。這些都是好事。在 2021 年，如果我們選擇的話，我們可以投資于探索并解決一系列的新問(wèn)題。

此外，由于新冠肺炎疫情使我們別無(wú)選擇，我們開(kāi)始開(kāi)發(fā)用于遠(yuǎn)程教學(xué)、分布式團(tuán)隊(duì)和異步工作的工具和實(shí)踐。2020 年的機(jī)器學(xué)習(xí)研究環(huán)境會(huì)讓我們 2019 年的自己都認(rèn)不出來(lái)。我預(yù)測(cè)，到 2021 年，在線教學(xué)和協(xié)作的質(zhì)量和質(zhì)量將翻一番。

Dipanjan Sarkar：Applied Materials 數(shù)據(jù)科學(xué)負(fù)責(zé)人、Google 機(jī)器學(xué)習(xí)領(lǐng)域的開(kāi)發(fā)專家、出版作家和顧問(wèn)。

根據(jù)我去年的預(yù)測(cè)，2020 年理所當(dāng)然地成為了自然語(yǔ)言處理的一年，而 Transformer 為輕松解決答題、搜索和翻譯等棘手問(wèn)題鋪平了道路?？山忉尩娜斯ぶ悄芤惨呀?jīng)開(kāi)始走出“期望膨脹”的 Gartner 技術(shù)成熟度曲線(Gartner Hype Cycle)階段，有許多實(shí)用的實(shí)現(xiàn)可用來(lái)解釋各種問(wèn)題和數(shù)據(jù)的復(fù)雜模型。

對(duì)于 2021 年，我相信我們將看到強(qiáng)大而高效的模型的出現(xiàn)，特別是對(duì)于視覺(jué)和自然語(yǔ)言處理方面。在 DistilBERT、Reformer 和 Performer 等高效 Transformer 模型中，我們已經(jīng)看到了進(jìn)展。像 TensorFlow 這樣的深度學(xué)習(xí)框架，通過(guò) TFLite 和 TF.js 專注于移動(dòng)設(shè)備和物聯(lián)網(wǎng)設(shè)備上的機(jī)器學(xué)習(xí)，而在邊緣設(shè)備和設(shè)備上的計(jì)算，正是市場(chǎng)所需要的。

我還預(yù)見(jiàn)在深度學(xué)習(xí)領(lǐng)域中，與無(wú)監(jiān)督和自監(jiān)督學(xué)習(xí)相關(guān)的領(lǐng)域?qū)?huì)出現(xiàn)更多的進(jìn)展，像 SimCLR、SimSiam 和 SwAV 這樣的方法論在預(yù)訓(xùn)練模型方面取得了巨大的成功，從而在適應(yīng)階段提供更好的性能。

最后，但并非最不重要的是，低代碼自動(dòng)機(jī)器學(xué)習(xí)平臺(tái)和負(fù)責(zé)任的人工智能也是另外兩個(gè)值得關(guān)注的領(lǐng)域，因?yàn)槲覀兛隙〞?huì)在這方面取得一些有興趣的進(jìn)展。

Rosaria Silipo(@dmr_rosaria)：KNIME 首席數(shù)據(jù)科學(xué)家。

在這個(gè)奇怪的 2020 年，由于存在著對(duì)未來(lái)的不確定性因素，人們的注意力已經(jīng)集中到為數(shù)據(jù)科學(xué)解決方案做好準(zhǔn)備并取得成果：安全部署、應(yīng)用監(jiān)控和安全解決方案。到 2021 年，這種趨勢(shì)可能會(huì)持續(xù)下去。

在數(shù)據(jù)科學(xué)項(xiàng)目中，部署仍然是關(guān)鍵階段，在此階段之前的步驟中，所有未被注意到的錯(cuò)誤都將重現(xiàn)。所以，除了傳統(tǒng)的企業(yè)級(jí)功能外，我們也開(kāi)始覺(jué)得有必要從訓(xùn)練環(huán)境中生產(chǎn)應(yīng)用程序，以避免在遷移過(guò)程中出現(xiàn)不必要的錯(cuò)誤。

2021 年的一些重點(diǎn)還將放在數(shù)據(jù)分析過(guò)程的解釋上，特別是在生命科學(xué)中，通過(guò)機(jī)器學(xué)習(xí)可解釋性(machine learning interpretability，MLI)或可解釋人工智能(eXplainable AI，XAI)技術(shù)來(lái)實(shí)現(xiàn)黑箱模型。

說(shuō)句題外話，我真的懷疑，如果世界上許多國(guó)家持續(xù)存在新冠肺炎疫情而不得不隔離的話，那么關(guān)于機(jī)器學(xué)習(xí)和人工智能方面的書籍?dāng)?shù)量將會(huì)暴增。

RachaelTatman(@rctatman)：Rasa 的開(kāi)發(fā)倡導(dǎo)者，從事自然語(yǔ)言處理方面的工作。

我知道很多人可能會(huì)認(rèn)為 GPT-3 是今年自然語(yǔ)言處理的一大新進(jìn)展，但我認(rèn)為它不過(guò)是現(xiàn)有自然語(yǔ)言處理方法的一個(gè)非常直接的擴(kuò)展，對(duì)絕大多數(shù)自然語(yǔ)言處理應(yīng)用來(lái)說(shuō)，它是完全不切實(shí)際的。更讓我感到興奮的是，專注于小型、高效模型的趨勢(shì)越來(lái)越明顯，而且性能依然良好。

第一次 SustainNLP 研討會(huì)(https://sites.google.com/view/sustainlp2020/home)就是一個(gè)很好的例子。我認(rèn)為，從研究的角度來(lái)看，找到用有限的數(shù)據(jù)和計(jì)算資源來(lái)獲得真正優(yōu)秀的模型性能的方法，既是一個(gè)巨大的挑戰(zhàn)，但也是真正有意義的一件事。

Daniel Tunkelang：獨(dú)立顧問(wèn)，專門從事搜索、發(fā)現(xiàn)和機(jī)器學(xué)習(xí) / 人工智能。

與此同時(shí)，2020 年一直被新冠肺炎大流行所主導(dǎo)。盡管人工智能在抗擊病毒方面發(fā)揮了作用，但更有趣的是，由于這場(chǎng)大流行，大多數(shù)從事或研究機(jī)器學(xué)習(xí)的人都是居家工作的。

如果在大流行過(guò)后，遠(yuǎn)程工作和教育的主流接受依然存在(這看起來(lái)是可能的)，那么我們就可以預(yù)見(jiàn)到兩種相互競(jìng)爭(zhēng)的趨勢(shì)。一方面，人工智能的專業(yè)知識(shí)將會(huì)真正全球化，而不會(huì)成為一個(gè)特定的中心。另一方面，科技巨頭則會(huì)犧牲較小的地區(qū)公司為代價(jià)，在全球范圍內(nèi)招募人才。

但是，隨著遠(yuǎn)程工作推動(dòng)了人工智能的全球化，美國(guó)與中國(guó)之間日益加劇的沖突也導(dǎo)致了人工智能走向分裂?？磥?lái)，未來(lái)十年我們很有可能會(huì)在人工智能軍備競(jìng)賽中度過(guò)。

又及：11 月 30 日，也就是本篇文章的投稿截止日，DeepMind 的研究人員宣布，他們的 AlphaFold 系統(tǒng)以革命性的精度和速度預(yù)測(cè)蛋白質(zhì)折疊大挑戰(zhàn)，并解決了蛋白質(zhì)結(jié)構(gòu)預(yù)測(cè)的關(guān)鍵評(píng)估(Critical Assessment of protein Structure Prediction，CASP)大挑戰(zhàn)。要理解這一消息還為時(shí)尚早，但它的確可能會(huì)成為 2020 年人工智能領(lǐng)域最大的突破。

作者介紹：

Matthew Mayo，機(jī)器學(xué)習(xí)研究員、KDnuggets 編輯，KDnuggets 是開(kāi)創(chuàng)性的在線數(shù)據(jù)科學(xué)和機(jī)器學(xué)習(xí)資源網(wǎng)站。他對(duì)無(wú)監(jiān)督學(xué)習(xí)、深度神經(jīng)網(wǎng)絡(luò)、自然語(yǔ)言處理、算法設(shè)計(jì)和優(yōu)化以及數(shù)據(jù)處理和分析的分布式方法特別感興趣。他擁有計(jì)算機(jī)科學(xué)碩士學(xué)位和數(shù)據(jù)挖掘的研究生文憑。