2018高清国产一区二区三区-国产黄色视频免费在线观看-欧美激情欧美精品一区二区-免费国产一级片内射老妇

2023年(nian)過去幾個月里(li)，高通一直在鼓(gu)吹(chui)手機(ji)大模型。

就好像是要(yao)用(yong)行動證明(ming)，大模型(xing)這(zhe)件事(shi)兒，不能(neng)只肥了英偉達(da)，高通也要(yao)分杯羹。

高(gao)通著(zhu)急是有原(yuan)因的，畢竟智能(neng)手(shou)機(ji)市場已經觸頂，XR市場還未起量，高(gao)通剛(gang)剛(gang)公布的三季度財報中“智能(neng)手(shou)機(ji)芯片(pian)銷量下降25%，QCT部門銷售額同(tong)比下降24%”格(ge)外(wai)顯(xian)眼。

這與英(ying)偉達H10043萬張的供給缺口(kou)形成了(le)鮮明的對比。

于是，我們看到，今年2月(yue)，高通(tong)官(guan)方YouTube發布(bu)了(le)一則40秒的(de)“短視頻”，在這個視頻中，高通(tong)為一部有明顯驍龍標(biao)識(shi)的(de)安(an)卓手機裝(zhuang)上(shang)了(le)StableDiffusion，并(bing)用14.42秒生成了(le)一張AI圖片。

StableDiffusion是當下(xia)最火的(de)AI繪圖軟件，也是一個擁有10億參數(shu)的(de)大(da)模型。

不過，10億級參數(shu)的StableDiffusion顯然無法與如(ru)今(jin)千億級參數(shu)的GPT-3.5、萬億級參數(shu)的GPT-4相提并論。

高通的目標自(zi)然也不(bu)止(zhi)于此，高通隨后不(bu)僅又在手機上演示了15億參數的ControlNet，還(huan)多次對外布道，“年內將在手機上支持100億級(ji)大模(mo)型(xing)。”

就(jiu)在英偉達(da)顯卡賣(mai)瘋了(le)的這一年，看似與大模型中間隔著無數張H100的手機，開始要上(shang)大模型了(le)。

然(ran)而，手機上(shang)大模型(xing)這件事兒(er)，可能(neng)遠沒有你(ni)想(xiang)得那么高級，但(dan)遠比你(ni)想(xiang)得要重要。

01

谷歌將“小模型”裝進手機里

2017年(nian)7月，谷(gu)歌母公司Alphabet宣布(bu)，接任谷(gu)歌CEO一職(zhi)兩年(nian)的(de)SundarPichai正式進入董事(shi)會。

對(dui)于Pichai來說，這無疑是對(dui)他過去兩年工作最大的肯定。

而就(jiu)在(zai)兩個(ge)月前(qian)的(de)谷(gu)歌I/O2017大會(hui)上，Pichai剛(gang)(gang)剛(gang)(gang)宣(xuan)布，接下來，谷(gu)歌公(gong)司戰(zhan)略(lve)將從“Mobilefirst”轉向(xiang)“AIfirst”，AI開(kai)始(shi)上升(sheng)為谷(gu)歌的(de)公(gong)司戰(zhan)略(lve)，這(zhe)時(shi)距離谷(gu)歌收購DeepMind剛(gang)(gang)剛(gang)(gang)過去三年。

這一年發生(sheng)的(de)另一件奠(dian)定(ding)了(le)谷歌在AI領域江湖地位的(de)事兒是，谷歌大腦團隊在發表的(de)《AttentionIsAllYouNeed》中創造性地提(ti)出了(le)Transformer架構。

這一架(jia)構不僅成為后來(lai)人(ren)工智能和自然語言(yan)技術發(fa)展的基石(shi)，也直接(jie)促使OpenAI團(tuan)隊開(kai)創了如今的ChatGPT盛世。

不過(guo)，這(zhe)些不是我們今(jin)天要討論(lun)的(de)重點，我們今(jin)天要討論(lun)的(de)是谷歌在這(zhe)一(yi)年另一(yi)項(xiang)，對于手機這(zhe)樣(yang)的(de)終端設備影響(xiang)深遠(yuan)的(de)AI突破——聯邦學習(xi)（FederatedLearning）。

機器學習(xi)是人(ren)(ren)工智能(neng)的主流(liu)研究方法(fa)，然而，以往將(jiang)這(zhe)樣的人(ren)(ren)工智能(neng)能(neng)力應用到終端(duan)(duan)設備上(shang)時，通常(chang)需要經歷一(yi)個“終端(duan)(duan)數據收集(ji)-發送數據到云端(duan)(duan)-云端(duan)(duan)模(mo)型訓練-終端(duan)(duan)執行決策”這(zhe)樣一(yi)條長鏈路。

究其原因，是(shi)因為(wei)終端(duan)設(she)備(bei)算力(li)和存儲資(zi)源都極為(wei)有限，要在手機(ji)這樣的終端(duan)上進行AI模型(xing)訓練不現(xian)實(shi)。

不過，谷歌并不這么想，他們(men)通過一個頗為討巧的方法——端(duan)云協同，嘗試在終端(duan)上研究人工(gong)智能(neng)技術。

2017年4月6日，谷(gu)歌在(zai)官(guan)方博客中更新了(le)一篇文章——《FederatedLearning：CollaborativeMachineLearningwithoutCentralizedTrainingData》，在(zai)這篇文章中，谷(gu)歌AI科學家指(zhi)出(chu)：

“在手(shou)機從(cong)云端下載AI模(mo)型后，在手(shou)機上(shang)，通(tong)過手(shou)機上(shang)的數(shu)據(ju)訓練并(bing)改(gai)進(jin)(jin)模(mo)型，改(gai)進(jin)(jin)部分被單(dan)獨總結并(bing)發送(song)回云端，用于改(gai)進(jin)(jin)云端‘大模(mo)型’。

這其中(zhong)，所(suo)有訓(xun)練數(shu)據都保留在(zai)手機本地，不再單獨更新并存儲到云端。”

聯邦學習的(de)模(mo)式，優點(dian)在于解(jie)決了人工(gong)智能研(yan)究(jiu)過程中(zhong)的(de)數據安全問題，但是并(bing)沒有從根本上(shang)解(jie)決本地設備算(suan)力、存儲(chu)資(zi)源受限的(de)問題。

在聯邦(bang)學習框(kuang)架(jia)之下，最(zui)初下載到本地設(she)備的AI模(mo)型(xing)和云端AI模(mo)型(xing)是一個同樣大小的模(mo)型(xing)，好(hao)在谷歌當時找到了一個恰好(hao)符合這一方法(fa)的應用場景——手(shou)機輸入(ru)法(fa)。

谷歌當時是基(ji)于自家的Gboard輸入法做了一(yi)個(ge)端(duan)側系統中的推薦(jian)引(yin)擎(qing)，當你用手(shou)機的Gboard輸入一(yi)個(ge)字(zi)母或單詞時，推薦(jian)引(yin)擎(qing)會根(gen)據(ju)你的歷史使用數據(ju)推薦(jian)相應的關聯內容給你。

這樣的(de)功(gong)能(neng)在諸如百度(du)輸入法(fa)、搜狗輸入法(fa)等各類輸入法(fa)中已(yi)經(jing)得(de)到了廣(guang)泛使(shi)用(yong)，也在潛(qian)移默化中改變著(zhu)我們的(de)手機使(shi)用(yong)習慣。

例(li)如現在越(yue)來越(yue)多人在手機上已經習慣(guan)了(le)使用九宮格輸入法，背后(hou)少不(bu)了(le)這種(zhong)推薦引擎(qing)帶來的便利和(he)魔力。

不過，手(shou)機(ji)輸入(ru)(ru)法涉(she)及的單詞量有限，通常一門(men)語言的常用單詞量在(zai)1萬個左右，有國內研(yan)究(jiu)團隊預測，谷歌當時推出的這一輸入(ru)(ru)法推薦引擎(qing)模(mo)型體(ti)積可能(neng)只有約1.4MB大小(xiao)。

因而，嚴格意義上來說，谷(gu)歌六年(nian)前(qian)提(ti)出的聯邦學習，實際上只是將占(zhan)用資源量有限(xian)的“AI小模型”裝(zhuang)進了手機里。

谷歌的(de)(de)聯邦學習，只是驗證了端(duan)側(ce)AI的(de)(de)可行性，邁出了端(duan)側(ce)AI的(de)(de)“一小步”。

02

超(chao)越“小模型”

就在谷歌提(ti)出(chu)(chu)聯邦學習不久，由于其在隱(yin)私性(xing)和安全性(xing)上的突出(chu)(chu)表現(xian)，使得它在金融領域得到了廣泛應用。

與此同時(shi)，端(duan)側(ce)AI的發展，也(ye)并沒有停(ting)在“AI小模型”上。

上海交大吳帆(fan)教(jiao)(jiao)授團隊是從2019年開始研究(jiu)端側人工智能技術(shu)，吳帆(fan)教(jiao)(jiao)授團隊當時是與阿(a)里的(de)(de)團隊基于手機淘寶的(de)(de)應用需求，做的(de)(de)偏(pian)應用性的(de)(de)技術(shu)研究(jiu)。

每當你(ni)在手機上(shang)打開京東(dong)或淘寶(bao)等線上(shang)購物平(ping)臺時，第一(yi)屏上(shang)總會出(chu)現你(ni)最近(jin)搜索過或想(xiang)過要買的(de)商品，這(zhe)背后其實就是(shi)一(yi)套類似前文中提到的(de)輸入法推(tui)薦引擎一(yi)樣的(de)推(tui)薦引擎。

不過，電商(shang)平臺面向的是10億級用戶和數十億商(shang)品信息，因而(er)推薦引擎(qing)所需的計算資源和存(cun)儲(chu)資源，都是輸入法這樣的手機應(ying)用無法比擬的。

僅僅以模(mo)型(xing)大小來(lai)看，要(yao)想嵌入20億個商品信息，模(mo)型(xing)規模(mo)就(jiu)已經達到了130GB，如果仍然照搬谷歌提出的(de)聯(lian)邦學(xue)習框架，本地設(she)備(bei)顯然無法提供如此規模(mo)的(de)硬件資源。

而如果是使(shi)用減枝、量化、知(zhi)識蒸(zheng)餾等傳統(tong)模型壓縮方法(fa)，端(duan)側AI推(tui)薦(jian)引擎(qing)的(de)準確率又(you)會大打折扣(kou)。

因(yin)而，吳帆教授團隊(dui)借鑒(jian)聯邦學習的思路，研究出了一套(tao)適用(yong)于手(shou)機(ji)淘(tao)寶這樣(yang)“大模型(xing)”的端(duan)側推(tui)薦引擎(qing)構建機(ji)制：

第一(yi)步(bu)，將與用戶特征(zheng)數據(ju)(ju)相關的局部模(mo)型切分下(xia)來，并將這(zhe)個(ge)局部模(mo)型下(xia)載到(dao)本(ben)地(di)結合本(ben)地(di)數據(ju)(ju)進行模(mo)型訓練；

第二步，下載到(dao)本(ben)地的模型經(jing)由(you)本(ben)地用(yong)戶數(shu)據(ju)(ju)(ju)訓(xun)練后，將本(ben)地參(can)數(shu)根(gen)據(ju)(ju)(ju)本(ben)地模型特(te)性和數(shu)據(ju)(ju)(ju)量(liang)進行加(jia)權(quan)計算；

第三(san)步，加(jia)權計算后的本地(di)參數上傳到云端，對(dui)云端全局大模型進行訓練。

在吳帆(fan)教授團隊(dui)的這套思路中，推薦模型(xing)同樣被切分為云端(duan)(duan)模型(xing)和(he)（手機）本(ben)地模型(xing)，不同的是，云端(duan)(duan)模型(xing)是最終完整(zheng)的“大(da)模型(xing)”，手機本(ben)地模型(xing)則是根據每個(ge)用戶特征本(ben)地訓練形成(cheng)的個(ge)性化用戶“小模型(xing)”。

據(ju)吳(wu)帆教授公開的(de)研(yan)究數據(ju)顯示(shi)，每位用(yong)戶每個(ge)月關注的(de)商品數大概在(zai)300個(ge)左右(you)(you)，因而(er)手機(ji)本(ben)地的(de)推(tui)(tui)薦模型大小(xiao)只(zhi)有0.27MB左右(you)(you)，甚至比輸入法的(de)手機(ji)本(ben)地推(tui)(tui)薦模型還要小(xiao)。

這(zhe)正是(shi)淘寶在移動互聯網時代能夠精準掌握用戶購物習慣和用戶畫(hua)像的(de)一(yi)個秘密武器。

03

手機大模型的歷史使命

現在再來看高通提(ti)出的手機大模型和混(hun)合AI這件事兒，似乎也(ye)沒有(you)多高級。

畢(bi)竟，在過去這(zhe)些年里，已經(jing)有不少團隊在嘗試(shi)將各類算法模型、推薦引擎放到手(shou)機(ji)上了。

那么，為什么這件事兒(er)這么重要呢？

這(zhe)是因為部署在云(yun)端的(de)人工(gong)智能算法(fa)，在手機(ji)這(zhe)類設備中應(ying)用時，存在三個問題(ti)：

第一(yi)，服務(wu)響應(ying)延(yan)時高；

第二(er)，服務個性化不(bu)足；

第三，云(yun)服務器壓力大。

前兩者(zhe)關乎用戶使用體驗(yan)，就像(xiang)身處5G時代的我們，回過頭來看，已經完全無法忍受2G、3G時代時手機打開(kai)一個(ge)網(wang)頁都需要幾秒延時的體驗(yan)一樣。

喬布斯在2007年發布第一(yi)(yi)代蘋果手(shou)機時(shi)，現(xian)場演示手(shou)機沖浪，打(da)開紐約時(shi)報時(shi)都需(xu)要讀(du)秒，如(ru)果現(xian)在我(wo)們打(da)開京東(dong)、淘(tao)寶、支付寶，首頁推薦內容需(xu)要讀(du)秒才能呈現(xian)的話，那(nei)將是一(yi)(yi)個不(bu)敢(gan)想象的恐怖故事。

不過，端側(ce)AI更重要(yao)的(de)意義(yi)，其實在于分擔云計算(suan)的(de)壓力。

云計算(suan)是我(wo)們(men)當(dang)下這(zhe)個時(shi)代一項獨特的(de)技(ji)術(shu)，它的(de)出現(xian)讓我(wo)們(men)能(neng)夠集中(zhong)計算(suan)資源(yuan)辦大事兒。然而，我(wo)們(men)也(ye)看到(dao)，即便數據中(zhong)心(xin)已經被納入到(dao)我(wo)們(men)國家(jia)的(de)新基(ji)建建設規劃之中(zhong)，但是云計算(suan)資源(yuan)依舊緊(jin)張。

尤(you)其是大(da)模型的出(chu)現(xian)，對計算資(zi)源提(ti)出(chu)了更高的要求，高通今(jin)年(nian)特別出(chu)了一份混合AI的研究報(bao)告，報(bao)告中援引摩根士丹利的數(shu)據(ju)指出(chu)：

生(sheng)成式AI每次搜(sou)索的成本是傳統搜(sou)索方法的10倍，以(yi)目前每天超過(guo)100億(yi)次搜(sou)索計算為例，即便基(ji)于大語言模(mo)型的搜(sou)索僅占其(qi)中一小部分，每年增量(liang)成本也可能會達到數十億(yi)美(mei)元。

而作為如(ru)今每年擁有十(shi)幾(ji)億出貨量的(de)個(ge)人(ren)終端，智能手機就(jiu)像是(shi)擁有大量閑置算力的(de)移動計算單(dan)元(yuan)，如(ru)果能在這(zhe)些(xie)設備閑置時間里將(jiang)這(zhe)些(xie)碎片化、分布式算力利(li)用起來，將(jiang)會產生不小的(de)社會效益。

而這(zhe)，或許才是手機大模(mo)型真正的歷史(shi)使命。

04

留給手機大模型(xing)的三(san)個(ge)問(wen)題(ti)

2022年1月(yue)24日，中國工(gong)程院(yuan)院(yuan)刊舉辦第(di)三屆(jie)信息與電子工(gong)程領域青(qing)年學(xue)術前沿(yan)論壇，彼時，還是阿(a)(a)里達摩院(yuan)智能計算實驗室負責人的(de)周靖人，對外發布了(le)阿(a)(a)里的(de)“洛犀”端云協同平臺。

這一平臺，背后(hou)是阿里(li)達摩院(yuan)、浙江大學上海高等研究(jiu)院(yuan)、上海人工智(zhi)能實(shi)驗室三個(ge)國內頂級研究(jiu)機構合作(zuo)產物，其作(zuo)用，正是實(shi)現端云(yun)協(xie)同的人工智(zhi)能。

此外，據吳帆(fan)教授近(jin)日(ri)透(tou)露(lu)，吳帆(fan)教授團隊在(zai)端云協(xie)同AI上的(de)工作(zuo)，也(ye)被(bei)納入到了科(ke)技部2030人工智能(neng)重大專項的(de)扶持項目(mu)之列。

不過，他也指出，目前端云協同AI仍然存在三方面(mian)難題：

第一，云(yun)上大(da)模型(xing)與端側小模型(xing)之間的高效遷移問題(ti)；

第二，端(duan)側持續(xu)性(xing)增強學習所(suo)面臨的(de)資源占(zhan)用問題(ti)；

第三，端側新知識(shi)如(ru)何高效匯聚、融合到(dao)云測(ce)，支持(chi)云測(ce)大模型演(yan)進(jin)的問題。

2023年，大(da)(da)模型炸裂了整個科技(ji)圈，人們(men)都(dou)驚訝地看(kan)著它肆(si)無忌憚(dan)的(de)表演，盡(jin)管大(da)(da)模型對計算資(zi)源有超(chao)高的(de)需求，無論是入局大(da)(da)模型戰場的(de)科技(ji)巨頭，還是創業團隊，都(dou)在瘋搶(qiang)GPU資(zi)源，但這并不(bu)影響大(da)(da)模型在手機上的(de)部署(shu)。

實際上，早在今年4月(yue)，也就(jiu)(jiu)是在高通(tong)在安卓(zhuo)手機(ji)上演示基于StableDiffusion的(de)AI作(zuo)圖(tu)沒多久，Midjourney就(jiu)(jiu)已(yi)經(jing)“落戶”QQ，QQ用戶就(jiu)(jiu)已(yi)經(jing)可(ke)以在手機(ji)端(duan)進入這一大火(huo)的(de)AI作(zuo)圖(tu)工具(ju)的(de)“體(ti)驗服”。

這同(tong)樣是(shi)基于端云(yun)協同(tong)AI的一次嘗試。

高通今年提(ti)出(chu)的“年內在(zai)手機(ji)上(shang)支持(chi)100億級大模型(xing)”的目(mu)標，雖然聽上(shang)去有些不可(ke)思議，實則同樣是基于其提(ti)出(chu)的混(hun)合AI模式，也就是端云協同AI。

這么(me)看來(lai)，大模型(xing)(xing)從未離開過智能(neng)手機這一(yi)刺激戰(zhan)場，大模型(xing)(xing)也將繼續在擁有超過60億用戶(hu)的(de)智能(neng)手機上(shang)繼續“強化(hua)學(xue)習”。