2018高清国产一区二区三区-国产黄色视频免费在线观看-欧美激情欧美精品一区二区-免费国产一级片内射老妇

2023年(nian)的大模(mo)型之(zhi)戰，因算(suan)力需求之(zhi)大，投入成本之(zhi)高，被不少人視為巨頭之(zhi)間(jian)的掰(bai)手腕。

阿里的大(da)(da)模(mo)型是(shi)在今年4月面世，同(tong)年9月，阿里對外開源了7B/14B的通義千問大(da)(da)模(mo)型。

阿里云CTO周靖人說，“阿里是(shi)唯(wei)一一家(jia)主(zhu)動宣布大模型開(kai)源的(de)大公司。”

開源讓阿里的大模型(xing)有了不一樣。

不過，這一(yi)年，阿里在大(da)模(mo)型(xing)上的(de)重重布局，不只是想做個(ge)開源社區，而是也想成為那個(ge)“賣鏟子”的(de)人。

01

大模型的阿里往事

和(he)國內大多數(shu)科技(ji)巨頭一(yi)樣(yang)，阿里涉(she)足大模型(xing)相關技(ji)術領域(yu)，也并非從今年開始，而是可以追溯到四年前。

2018年10月，谷(gu)歌預訓練大模(mo)(mo)型BERT發(fa)布(bu)，作為基于自家2017年發(fa)布(bu)的(de)Transformer框架研發(fa)出的(de)一種新型AI模(mo)(mo)型，BERT跳出了(le)循環網絡和(he)卷(juan)積網絡的(de)經典AI范式，很(hen)好地發(fa)揮了(le)“注意力機制”的(de)結(jie)構特性，讓AI模(mo)(mo)型第一次有了(le)“通用”能(neng)力。

當時研發出BERT的谷歌兩位科學(xue)家絲毫(hao)不留情面，狠狠地與(yu)OpenAI當時還(huan)慘(can)不忍睹的初代(dai)GPT進行了(le)一波對(dui)比(bi)。

BERT在當時風靡程度可以從兩個方面窺見一斑：

首先，在(zai)AI刷(shua)榜成癮的(de)那幾(ji)年，作為(wei)一個全新(xin)的(de)NLP模(mo)型(xing)，BERT刷(shua)新(xin)了(le)11項NLP性能紀(ji)錄，成為(wei)了(le)當(dang)年名副其實的(de)最強NLP預(yu)訓練模(mo)型(xing)；

其次是產業(ye)的瘋狂跟進。

BERT發布(bu)僅(jin)僅(jin)一年后，Facebook的RoBERTa模(mo)型、斯坦福的ELECTRA模(mo)型，以及國內百度的ERNIE模(mo)型等就蜂(feng)擁而至。

阿(a)里(li)達(da)摩院也是在(zai)2019年，在(zai)BERT基礎上，推演出的預訓練大語言模(mo)型structBERT。

自此之后，新的AI范式，也就是現(xian)在(zai)所(suo)謂(wei)的大(da)模型，開始在(zai)不確定中悄(qiao)悄(qiao)成(cheng)長。

在2019年踏足(zu)這一領域后，阿(a)里在2021年推(tui)出了(le)多模態大模型M6，又在2022年推(tui)出了(le)“通(tong)義”大模型。

與此同時，為了研究大模型，阿里在(zai)達(da)摩院內部整合機器(qi)智能、數據計算(suan)等實(shi)驗室(shi)資(zi)源，以“通義千問(wen)”之名，構建起了通義實(shi)驗室(shi)。

實(shi)際上，自M6開(kai)始，阿里大模型開(kai)啟了自我進(jin)化(hua)之路，通(tong)義實(shi)驗(yan)室通(tong)義千問(wen)負責人(ren)周暢(chang)在2023云棲大會(hui)上稱，“我們(men)最開(kai)始其實(shi)只(zhi)是想做(zuo)一個能看、聽、說、使用(yong)工具(ju)的(de)通(tong)用(yong)智能體(ti)。”

圖(tu)片

而(er)這，也是自(zi)1956年人工智能發展至今的幾(ji)十(shi)年里，所(suo)有AI研究團(tuan)隊都(dou)在追逐的一個終極(ji)目標。

大(da)模型新范式的出現(xian)，讓這一領域不(bu)少科(ke)學家(jia)第一次(ci)感受到，他們(men)離(li)(li)這一終極目標的距(ju)離(li)(li)，似乎已經很近。

02

從M6到通義千問

達摩院(yuan)(yuan)是阿里在2017年成立(li)的一個科(ke)(ke)研(yan)(yan)屬性的研(yan)(yan)究機構，背靠國內科(ke)(ke)技巨頭，達摩院(yuan)(yuan)陸續匯聚(ju)了(le)來自全球各領域的技術大牛(niu)。

尤(you)其是人工智(zhi)能(neng)領(ling)域，不少華人AI科學家，都曾被(bei)達摩院招入麾下。

這就(jiu)不難理解，為什(shen)么2022年年初，達(da)摩院能夠對外發布模(mo)型、任務、結構統(tong)一的通用多(duo)模(mo)態模(mo)型M6-OFA。

在2022年(nian)9月(yue)的(de)WAIC 2022上，時(shi)任達摩院副(fu)院長的(de)周靖人稱，M6-OFA正是通(tong)義大模(mo)型的(de)底(di)座。

然而(er)，盡管這(zhe)一模(mo)型(xing)在通用性上有了不(bu)小的進步，但(dan)就語言理解能力而(er)言，這(zhe)一模(mo)型(xing)始終無法很(hen)好地與(yu)人類(lei)進行自然交互(hu)。

直到這(zhe)年11月，ChatGPT的出現，讓達摩院同樣在做大模型的AI科學(xue)家興奮了起來，也是在這(zhe)時，他們(men)有了做通義千問的念頭。

而阿里真正意義上的(de)(de)類ChatGPT大模型——通(tong)義千(qian)問的(de)(de)問世，是(shi)在阿里身處動(dong)蕩之年的(de)(de)2023年。

2023年，從內部來(lai)看，阿里經(jing)歷(li)了架(jia)構調(diao)整、業(ye)務拆分、集團換帥，達摩院也經(jing)歷(li)了不(bu)小的(de)人員流動和調(diao)整。

尤其是繼(ji)楊紅霞之后，原達摩(mo)院大(da)模型團隊另外(wai)兩位核心人物(wu)司(si)羅、徐盈輝的相繼(ji)離職，讓阿里新的大(da)模型團隊在百模大(da)戰前，進行了一(yi)次緊張的重新梳理。

從外部來看，在(zai)ChatGPT問世(shi)后，短短幾(ji)個月里(li)，迅國(guo)內速涌現(xian)出不(bu)少大(da)(da)模型明星團隊，李開復、王慧文、李志飛、王小川等AI大(da)(da)牛帶資入場，百度文心一言(yan)更是在(zai)這年3月迅速上線開啟(qi)邀測(ce)，百模大(da)(da)戰幾(ji)乎瞬發。

阿(a)里(li)是在今年4月11日正式(shi)對外發布的類ChatGPT產(chan)品——通(tong)義(yi)千(qian)問(wen)(wen)，通(tong)義(yi)千(qian)問(wen)(wen)的發布，也(ye)宣告著阿(a)里(li)正式(shi)加入到了這場堪(kan)稱(cheng)“AI革命”的百模大(da)戰中。

時(shi)任阿(a)里CEO的張勇這樣解釋這場變革：

“(大(da)模(mo)型(xing)是)今天真正一項技術可能在(zai)未(wei)來十年(nian)二十年(nian)，形成(cheng)重大(da)歷史契機、創造新產業的(de)關頭(tou)。”

于是，我們看(kan)到，在這之后，無論(lun)內部(bu)組(zu)織架構經歷怎樣復雜(za)的(de)(de)調整，都沒(mei)有影響阿里對大模型的(de)(de)團隊(dui)、資源的(de)(de)巨量投入。

邀測順(shun)利開啟、新產品(pin)通義(yi)(yi)聽悟(wu)、通義(yi)(yi)萬相等相繼發布，阿里(li)核心業(ye)務(wu)釘釘、淘寶逐漸(jian)導入(ru)(ru)大模型，就(jiu)連相對獨立(li)的(de)C端品(pin)牌天(tian)貓(mao)精靈(ling)，也成了通義(yi)(yi)千(qian)問的(de)試驗(yan)田，早早傳出了接入(ru)(ru)通義(yi)(yi)千(qian)問大模型的(de)消息。

一切就像張勇在(zai)4月發布通(tong)義千問(wen)時說的(de)那樣(yang)，“阿里所有(you)產品都將(jiang)接入大模型(重新做一遍)已經(jing)成為阿里內部的(de)共(gong)識。”

03

輪到釘釘做“試驗田”

2023年，大(da)模型急速發展(zhan)，但不(bu)可否(fou)認的是，如今的大(da)模型，仍處(chu)于商(shang)業(ye)化前夜。

要想將大模(mo)型(xing)生(sheng)意(yi)做起來，各(ge)大公(gong)司必然需(xu)要一塊試(shi)驗田(tian)。和十年(nian)前云計算浪潮來臨時，阿(a)里首(shou)先將阿(a)里云用到自家核心業務淘寶上(shang)一樣，這次(ci)阿(a)里再次(ci)對內下手。

只不過，這次(ci)最先被阿(a)里選中的(de)是(shi)釘(ding)(ding)釘(ding)(ding)。

被選(xuan)上的(de)釘釘受寵若驚，在通義千(qian)問發(fa)布(bu)僅(jin)僅(jin)一周后的(de)春釘發(fa)布(bu)會上，釘釘總(zong)裁葉軍(jun)笑稱(cheng)：

“以(yi)往我們(men)(men)釘(ding)釘(ding)做個產品，天天都是求著人(ren)家用，最近這(zhe)一個月，每天都有人(ren)在在釘(ding)釘(ding)、微信(xin)上找我們(men)(men)說，能不能趕快(用大模型(xing))做點功能給我們(men)(men)。”

也是在(zai)這場(chang)發布會上，葉(xie)軍正式(shi)官宣“釘(ding)釘(ding)全面(mian)接入通義(yi)千問大模型”，并討巧地用(yong)了一(yi)個(ge)程序員的(de)標志性符號(hao)——“/”來命名(ming)嵌入到釘(ding)釘(ding)中的(de)這一(yi)“大模型”功能。

這一被嵌入到(dao)釘釘中(zhong)的(de)名為“/”的(de)功(gong)能(neng)當時被應用到(dao)了IM、文(wen)檔、視頻(pin)(pin)會(hui)(hui)議(yi)(yi)、應用開發等內嵌功(gong)能(neng)中(zhong)，用以實現諸如(ru)寫推廣文(wen)案、生(sheng)成(cheng)配圖、提取(qu)會(hui)(hui)議(yi)(yi)紀要、生(sheng)成(cheng)視頻(pin)(pin)會(hui)(hui)議(yi)(yi)議(yi)(yi)程回顧、創建待辦(ban)事項、發起群投票、生(sheng)成(cheng)表(biao)情包等功(gong)能(neng)。

可(ke)以看(kan)到，“釘釘”接入“通義千(qian)問”的過程和能(neng)力，與“微軟Bing”接入“ChatGPT”本質類似，功能(neng)也相同。

不同(tong)的(de)(de)(de)是，大模型為釘(ding)釘(ding)這樣的(de)(de)(de)應(ying)用帶(dai)來了一次重生的(de)(de)(de)機(ji)會。

作為釘釘的大家長(chang)，葉軍對此深(shen)有(you)體會。

“大(da)家一(yi)直都說釘(ding)(ding)(ding)釘(ding)(ding)(ding)是一(yi)個(ge)非常臃腫的(de)(de)軟件(jian)，釘(ding)(ding)(ding)釘(ding)(ding)(ding)的(de)(de)功能確實(shi)非常多(duo)，多(duo)到有時(shi)候(hou)我們都找不到在哪里，大(da)模(mo)型(xing)為釘(ding)(ding)(ding)釘(ding)(ding)(ding)帶來(lai)了(le)一(yi)次(ci)躍遷的(de)(de)機會。”

也是借著這次(ci)大模型的(de)機會，曾(ceng)經在(zai)消費市場沒什(shen)么存在(zai)感的(de)釘釘，在(zai)這一年，收購了我來的(de)釘釘推出了“釘釘個人版”。

釘(ding)(ding)釘(ding)(ding)個人(ren)版的(de)獨特之處(chu)在(zai)于(yu)，官方(fang)基于(yu)我來(釘(ding)(ding)釘(ding)(ding)收購的(de)協同辦公團隊)在(zai)這個版本上(shang)(shang)打造了一個個人(ren)空間(jian)，用戶在(zai)釘(ding)(ding)釘(ding)(ding)上(shang)(shang)通(tong)過大模型檢索(suo)或生成的(de)內(nei)容，都可(ke)以(yi)存到這個個人(ren)空間(jian)中。

葉(xie)軍說，“將AI創作(zuo)(zuo)的內(nei)容存下來，基于(yu)AI創作(zuo)(zuo)的內(nei)容編輯修(xiu)改(gai)(應用到編寫郵件(jian)、方案創作(zuo)(zuo)中)，可能將是未來每個(ge)人(ren)工作(zuo)(zuo)的常態。”

這是釘(ding)釘(ding)基于大模(mo)型(xing)做出的(de)改(gai)變(bian)，是葉軍看到的(de)釘(ding)釘(ding)的(de)機會(hui)。

而釘釘，也成為阿(a)里口(kou)中“國內第(di)一個(ge)將(jiang)大模型規(gui)模落地的(de)應用”。

04

模型迭代兩三事

互聯網(wang)公司對(dui)技術感(gan)知度足夠高，于是有(you)了(le)阿(a)里快速跟進(jin)類ChatGPT大(da)模型(xing);

釘釘跑得足夠快，于是有了幾乎與阿(a)里(li)發布通義(yi)千(qian)問同時的官宣(xuan)接(jie)入，甚至還(huan)手把手教了一(yi)遍各位“看(kan)官”如(ru)何在(zai)釘釘中(zhong)用大模型。

不過(guo)，這些(xie)只是百(bai)模大戰的開始。

在ChatGPT一(yi)路小步快跑，迅速更新到到了GPT-3.5、GPT-4一(yi)樣，國內的大模型(xing)也一(yi)邊(bian)公測、一(yi)邊(bian)應(ying)用，一(yi)邊(bian)也在快速進(jin)行(xing)模型(xing)迭(die)代。

阿里是(shi)在上周的云棲大(da)會上正式(shi)對外發布的通(tong)義千問2.0版本，在此之前，包括華為(wei)、百(bai)度、科大(da)訊(xun)飛等大(da)廠和(he)獨角獸都陸續(xu)更(geng)新了大(da)模型(xing)的版本和(he)能(neng)力。

從通義(yi)千問面世到2.0版本發布，中間(jian)經歷了半(ban)年(nian)的(de)時(shi)間(jian)，這(zhe)半(ban)年(nian)是(shi)阿里與全球其他大(da)模(mo)型(xing)團隊(dui)緊張競速的(de)半(ban)年(nian)。

在這(zhe)半(ban)年里(li)，阿里(li)從各個渠道不斷(duan)努力招人來擴充通義實(shi)驗室的戰力，加緊技術研發和模型訓練。

據(ju)周暢在云棲大會(hui)上透露，“由于資(zi)源有限，我們(men)這半(ban)年整(zheng)體是在圍繞Scalling Law做技(ji)術探(tan)索。”

所謂Scalling Law(規模(mo)定理)，指的(de)是算力、參數規模(mo)與模(mo)型測試損(sun)失之間的(de)函數關系。

周暢所(suo)說的(de)“圍繞(rao)Scalling Law做技術探索”，實際上就(jiu)是基(ji)于小模型研究數據分布、清晰規(gui)則、數據配(pei)比(bi)，在(zai)模型算力(li)和(he)參(can)數規(gui)模擴大時，如何(he)提升模型能力(li)。

基于(yu)這些工(gong)作，周暢和他的(de)團隊將通義千問(wen)的(de)預訓練語料提升了一(yi)倍(bei)。

在(zai)預訓練語料得到提升(sheng)后，模型(xing)訓練效率成了(le)阻礙算法迭代(dai)的又一關鍵(jian)問題，而在(zai)大規模集群(qun)里，任(ren)務穩定性也存在(zai)很(hen)大挑戰(zhan)。

于是，阿里通義千問團隊(dui)又通過對底層(ceng)靈駿(jun)集群的(de)(de)穩定(ding)性、網絡效率，中間層(ceng)各種算子優化，以及框架層(ceng)的(de)(de)設計(ji)機制進(jin)行了著(zhu)重攻關。

基于這些工作，阿里通義千問團(tuan)隊又(you)將模型(xing)訓練效率提升(sheng)了30%，訓練穩定(ding)性(xing)提升(sheng)了15%。

圖片

而通(tong)過對(dui)Scalling Law的(de)探索，通(tong)義千問(wen)團(tuan)隊最終將積累(lei)下來的(de)這些經驗(yan)應用(yong)到通(tong)義千問(wen)模(mo)型(xing)訓(xun)練(lian)中(zhong)，由此也就有了阿里上(shang)周發布的(de)通(tong)義千問(wen)2.0。

05

不為模型，為工具

在上(shang)周(zhou)云棲(qi)大(da)會上(shang)，隨(sui)著(zhu)通義千(qian)問2.0的發布，周(zhou)靖人(ren)還對外(wai)做了(le)另外(wai)兩項發布：

一項是整合了(le)此前阿里基于通義千問的(de)各類模型，統一對外(wai)梳理并發布(bu)了(le)8大行業模型；

另一項則是更(geng)新并(bing)發(fa)布了阿(a)里的大模(mo)(mo)型(xing)基礎設施，包括模(mo)(mo)型(xing)訓練平(ping)(ping)臺PAI靈駿、模(mo)(mo)型(xing)推理與服務平(ping)(ping)臺PAI靈積(ji)，以(yi)及大模(mo)(mo)型(xing)應用開發(fa)平(ping)(ping)臺百煉(lian)。

然而，這些并不是最重(zhong)要的。

鋅產業認為(wei)，作(zuo)為(wei)蔡(cai)崇(chong)信(xin)、王堅兩位重(zhong)(zhong)回舞臺(tai)見證(zheng)阿里新時(shi)期(qi)的(de)這場云(yun)棲(qi)大會，最重(zhong)(zhong)要的(de)是，作(zuo)為(wei)阿里大模(mo)(mo)型(xing)研發(fa)一號(hao)位的(de)周靖人，明確了大模(mo)(mo)型(xing)時(shi)代阿里的(de)定位：

——不(bu)是(shi)做(zuo)一個C端產(chan)品(通義千問)，而是(shi)要將模型(xing)的能力(li)釋放出去，繼續做(zuo)B端生意。

基于這樣的定(ding)位(wei)，周靖(jing)人也(ye)明確了阿里大模(mo)型的三個商業模(mo)式：

第一，為創業公(gong)司、高校和機構開發自(zi)己的通用大(da)模型(xing)，提供算力、工具和服務；

第二，為有(you)較強AI能力(li)的團隊和開(kai)發(fa)者提供模型(xing)開(kai)發(fa)平(ping)臺，供這些團隊和開(kai)發(fa)者結合自己的行業知識、第三方(fang)通用大模型(xing)，開(kai)發(fa)自己的專用大模型(xing)(基礎模型(xing))；

第(di)三，為希望基(ji)(ji)于基(ji)(ji)礎(chu)模型(xing)(xing)做(zuo)二次開發的團隊(dui)，提供基(ji)(ji)礎(chu)模型(xing)(xing)和服務。

總(zong)結來看(kan)就是(shi)(shi)，阿里在大模(mo)型(xing)時代想(xiang)做的(de)是(shi)(shi)為(wei)想(xiang)要開(kai)發(fa)“通用大模(mo)型(xing)”、“行(xing)業大模(mo)型(xing)”和“基于大模(mo)型(xing)的(de)應(ying)用”的(de)三類人群提供(gong)三樣東西：

一曰工具(ju)，即(ji)算力平(ping)臺、訓(xun)練平(ping)臺、開(kai)發平(ping)臺，當然(ran)也包括其(qi)他各種云服務；

二曰模(mo)型，即(ji)“通義”家族，以及其他三方開(kai)發者開(kai)發出的各種基礎模(mo)型；

三(san)曰生(sheng)(sheng)態，即魔搭社區，通過魔搭社區既要(yao)做一個豐富的模型生(sheng)(sheng)態，也要(yao)做模型背后的開發者生(sheng)(sheng)態。

顯然，在大(da)模型時代，阿(a)里既想(xiang)像英(ying)偉達一(yi)樣，成為那(nei)個“賣鏟(chan)(chan)子(zi)”的人，也想(xiang)通(tong)過“賣鏟(chan)(chan)子(zi)”，繼續(xu)成為下一(yi)個時代的平臺(tai)型企(qi)業。