2018高清国产一区二区三区-国产黄色视频免费在线观看-欧美激情欧美精品一区二区-免费国产一级片内射老妇

大模(mo)型行業越來(lai)越熱(re)鬧。國(guo)外，馬斯克(ke)為Twitter搶(qiang)購1萬塊GPU籌備大模(mo)型項目、亞馬遜大力(li)投資大型語言(yan)模(mo)型和(he)生(sheng)成式(shi)AI、OpenAI推出了ChatGPTiOS版(ban)本(ben)；國(guo)內，百(bai)度發(fa)布文心一言(yan)、阿里發(fa)布通義千問，王小川、王慧文、閆俊杰等“有(you)背景”的創業者跑步進場(chang)。

相較于深(shen)度學習而(er)言，大(da)模(mo)型讓(rang)AI的(de)(de)認知能(neng)力更上一層樓，進(jin)而(er)實現所謂的(de)(de)“智能(neng)涌(yong)現”，催生出ChatGPT、AutoGPT、AIGC等新型應用(yong)，讓(rang)AI全面進(jin)入(ru)工(gong)業化大(da)生產(chan)階段。英偉達(da)創(chuang)始人、CEO黃仁勛說：AI的(de)(de)“iPhone時刻(ke)”來臨。在激動人心的(de)(de)“iPhone時刻(ke)”，行業缺什么？

百模大戰

AI的門檻一下變高(gao)了

跟(gen)當年的AI創(chuang)(chuang)業(ye)(ye)以及(ji)互聯(lian)網(wang)創(chuang)(chuang)業(ye)(ye)生(sheng)態不(bu)同，大模(mo)型成為“頭號(hao)玩(wan)家(jia)”的游戲，活躍的玩(wan)家(jia)要(yao)么是大廠(chang)，要(yao)么是有(you)資金加(jia)持的“有(you)背景”創(chuang)(chuang)業(ye)(ye)者，“草根(gen)創(chuang)(chuang)業(ye)(ye)者”尚未出現。

大模型具有“巨(ju)量數據、巨(ju)量算(suan)(suan)(suan)法、巨(ju)量算(suan)(suan)(suan)力(li)(li)(li)”三大“巨(ju)量”特(te)征，對(dui)任(ren)何企業(ye)包括巨(ju)頭來說(shuo)，打(da)造(zao)一(yi)個大模型都不(bu)是一(yi)件容易的事情，需(xu)(xu)要(yao)收集海量數據、需(xu)(xu)要(yao)采買(mai)海量算(suan)(suan)(suan)力(li)(li)(li)、需(xu)(xu)要(yao)進行大量研發，金錢、時(shi)間、人力(li)(li)(li)投入同樣“巨(ju)量”。ChatGPT是創業(ye)公司OpenAI做的，這家公司在(zai)2015年成立后(hou)低調耕耘(yun)8年，且(qie)有微軟等巨(ju)頭/大佬支持，底(di)層硬件投入高達10億美元以上，每次訓練消耗的電力(li)(li)(li)足夠3000輛(liang)(liang)特(te)斯拉汽車每輛(liang)(liang)跑20萬英里。

“巨量”特征讓(rang)大模(mo)(mo)型(xing)研發(fa)(fa)(fa)(fa)門檻極高，但任何(he)技(ji)術(shu)生態要走向(xiang)繁榮(rong)都離不開社會化創新(xin)。移動互(hu)聯網的崛起(qi)源自于iOS和安卓(zhuo)的出現，但也離不開應用(yong)(yong)市場數百萬開發(fa)(fa)(fa)(fa)者(zhe)的創新(xin)。同理，大模(mo)(mo)型(xing)上“長出”的應用(yong)(yong)也都得靠開發(fa)(fa)(fa)(fa)者(zhe)來定義，讓(rang)AI大模(mo)(mo)型(xing)為所有開發(fa)(fa)(fa)(fa)者(zhe)（技(ji)術(shu)服務商、企業(ye)、組(zu)織、個體開發(fa)(fa)(fa)(fa)者(zhe)等）所用(yong)(yong)，是加速大模(mo)(mo)型(xing)產業(ye)發(fa)(fa)(fa)(fa)展的關鍵。

截(jie)至目前，大(da)模(mo)型還處在“只聽其(qi)聲不聞其(qi)人(ren)(ren)”的(de)階段，大(da)廠的(de)大(da)模(mo)型已在開放(fang)，但需要(yao)使用者有(you)較(jiao)高的(de)人(ren)(ren)才、算(suan)力等資源配置，當下(xia)市面上(shang)急缺一款讓開發者乃至大(da)學生等群體“人(ren)(ren)人(ren)(ren)可用”的(de)大(da)模(mo)型。

62億參數規格(ge)

大模(mo)型(xing)也能“小而(er)美”

最(zui)近我在(zai)朋友(you)圈看到有(you)人(ren)分享了一(yi)個輕量級開(kai)源大模型(xing)：中英雙語對話模型(xing)ChatGLM-6B，它的最(zui)大特點是輕量化，支(zhi)持(chi)在(zai)單張消費級顯(xian)卡上進行部署(shu)推理使用，這(zhe)讓它具備人(ren)人(ren)可用的基礎——千億規(gui)格的大模型(xing)往往需要成百上千張顯(xian)卡才能部署(shu)。

ChatGLM-6B來自智(zhi)譜AI這家(jia)公(gong)司(si)，它由清華技術成果轉化而來。2022年8月，智(zhi)譜AI旗(qi)下的千億(yi)級參(can)數(shu)模型GLM-130B中英雙(shuang)語稠密(mi)模型正式向研究界和工(gong)業界開放——“130B”是130billion的縮寫，即1300億(yi)參(can)數(shu)。據官網介(jie)紹稱，GLM-130B與BERT、GPT-3和T5有著(zhu)不同的架構，是一(yi)個包(bao)含(han)多目(mu)標函數(shu)的自回(hui)歸預訓練(lian)模型，具有雙(shuang)語支持、高精(jing)度和快(kuai)速推理等特性。

2022年(nian)11月，斯坦福大學大模(mo)(mo)型(xing)中(zhong)心對(dui)(dui)全球30個主流大模(mo)(mo)型(xing)進行了全方位(wei)的(de)(de)評測，GLM-130B是亞洲唯一入選(xuan)的(de)(de)大模(mo)(mo)型(xing)。在與(yu)OpenAI、谷歌(ge)大腦(nao)、微軟、英偉達、臉書的(de)(de)各大模(mo)(mo)型(xing)對(dui)(dui)比中(zhong)，評測報告顯示(shi)GLM-130B在準(zhun)(zhun)確性(xing)和(he)惡意性(xing)指標上(shang)與(yu)GPT-3175B（davinci）接近或持平，魯棒(bang)性(xing)和(he)校準(zhun)(zhun)誤(wu)差在所有千(qian)億規模(mo)(mo)的(de)(de)基座大模(mo)(mo)型(xing)（作為公平對(dui)(dui)比，只對(dui)(dui)比無指令(ling)提(ti)示(shi)微調模(mo)(mo)型(xing)）中(zhong)表現(xian)不錯。

2023年3月14日，智譜(pu)AI基于GLM-130B推出的(de)千億(yi)對(dui)(dui)話模型(xing)ChatGLM開始內測(ce)，ChatGLM對(dui)(dui)標ChatGPT，具(ju)(ju)備問答和對(dui)(dui)話功(gong)能且(qie)針對(dui)(dui)中(zhong)文進(jin)行了(le)優(you)化，第三方(fang)(fang)評測(ce)顯示其(qi)(qi)具(ju)(ju)備ChatGPT3.5至少70%的(de)能力水平。同一天，智譜(pu)AI還開源了(le)62億(yi)參數的(de)ChatGLM-6B模型(xing)。根據(ju)官(guan)方(fang)(fang)Blog顯示，ChatGLM-6B采取跟GLM-130B一樣的(de)架構與技術，其(qi)(qi)將參數規格從千億(yi)精簡到62億(yi)，具(ju)(ju)有如下特征：

第一(yi)，輕量(liang)級(ji)。結(jie)合模型(xing)量(liang)化技術，ChatGLM-6B參數大幅精簡，INT4量(liang)化級(ji)別下最低只需6GB顯存(cun)，支持在(zai)單張消費(fei)級(ji)顯卡上進(jin)行本地部署(shu)，部署(shu)門檻與推理成本大幅降低。

第二(er)，中(zhong)英雙(shuang)語(yu)對(dui)(dui)話。進行了充(chong)分的(de)(de)中(zhong)英雙(shuang)語(yu)預訓(xun)練(lian)，經過約1T標識(shi)符的(de)(de)中(zhong)英雙(shuang)語(yu)訓(xun)練(lian)，輔以監督微調、反饋自助(zhu)、人類(lei)反饋強(qiang)化(hua)學習(xi)等訓(xun)練(lian)方式，它(ta)更能對(dui)(dui)齊人類(lei)意圖，進而擁有不錯的(de)(de)智能表現。

第三，國(guo)(guo)產(chan)自(zi)主(zhu)。GLM-130B對國(guo)(guo)產(chan)信(xin)控生態有較好的(de)支持(chi)，可在國(guo)(guo)產(chan)的(de)海光(guang)DCU、華為昇騰(teng)910和申威處(chu)理(li)器(qi)及美國(guo)(guo)的(de)英(ying)偉達芯片上(shang)進(jin)行訓練與推理(li)。ChatGLM-6B作為國(guo)(guo)產(chan)自(zi)主(zhu)的(de)輕量級大模型(xing)也(ye)支持(chi)信(xin)控平臺，可助力(li)我國(guo)(guo)AI技術特別是大模型(xing)自(zi)主(zhu)化。

截至目前ChatGPT、文心一(yi)言、通義千問的體(ti)(ti)驗門檻(jian)都很高(gao)，而(er)ChatGLM-6B支持公眾體(ti)(ti)驗（http：//open.bigmodel.ai/trialcenter），簡單注冊后，我體(ti)(ti)驗了一(yi)下它的能(neng)力。對近期AI型圈沸(fei)沸(fei)揚揚的口水戰，它回答得(de)很得(de)體(ti)(ti)。

我打算做一個(ge)華為最新折疊(die)屏手機MateX3的評(ping)測(ce)，讓ChatGLM-6B幫忙寫一個(ge)提綱，結果(guo)中規中矩(ju)，思路沒問題(ti)：

寫詩這樣的(de)常規任(ren)務不在話下。

商(shang)業(ye)文(wen)案創(chuang)作比如(ru)取名、想廣告詞都可以做(zuo)，“喝(he)蜜雪，不舔蓋(gai)”，很(hen)有創(chuang)意了。

體驗中大部分(fen)時候ChatGLM-6B的(de)表(biao)現(xian)相比(bi)ChatGPT、文心(xin)一言、通(tong)義(yi)千問并不遜色(se)(se)，考慮到它是一個只有(you)62億參數的(de)“輕量版”大模型，哪怕“遜色(se)(se)”也(ye)都可(ke)以(yi)原諒了。特別(bie)值得一提的(de)是，智譜AI針對(dui)取標(biao)題、寫文章等不同場景(jing)進行了調(diao)優，讓它在滿足對(dui)應AIGC需求時有(you)更出色(se)(se)的(de)表(biao)現(xian)。

ChatGLM-6B的參數規(gui)格只(zhi)有62億，因此也存在一(yi)些不(bu)(bu)容回避的問題，比如在面對許多(duo)(duo)事實性知識任務時可能會生成不(bu)(bu)正確的信息(xi)，不(bu)(bu)擅長邏輯(ji)類問題（如數學、編(bian)程(cheng)）的解(jie)答，對多(duo)(duo)輪對話的支持很一(yi)般。

要真正擁(yong)有(you)人的(de)智商，AI大(da)模型(xing)依(yi)然任重道遠(yuan)。AI大(da)模型(xing)的(de)完整(zheng)稱呼是“AI預(yu)(yu)訓(xun)練(lian)大(da)模型(xing)”，“預(yu)(yu)訓(xun)練(lian)”的(de)字面意思很容(rong)易理解：預(yu)(yu)先訓(xun)練(lian)好，這(zhe)樣應用(yong)(yong)(yong)(yong)開發者可得到相對現成的(de)訓(xun)練(lian)結(jie)果，基于此直接開發AI應用(yong)(yong)(yong)(yong)，不再需要從0到1訓(xun)練(lian)數據、建(jian)立模型(xing)。它通過堆疊數據集“貪(tan)婪式”地訓(xun)練(lian)模式，擁(yong)有(you)較強的(de)通用(yong)(yong)(yong)(yong)性，理論上(shang)可泛(fan)化(hua)到多(duo)種應用(yong)(yong)(yong)(yong)場景，而小樣本(ben)或零(ling)樣本(ben)的(de)技(ji)術實(shi)現，則可讓(rang)應用(yong)(yong)(yong)(yong)開發者快速基于其(qi)構建(jian)工程應用(yong)(yong)(yong)(yong)。

顯而(er)易見(jian)，ChatGLM-6B的出現(xian)體現(xian)出了(le)大(da)模(mo)型預(yu)訓練與泛化(hua)通用的精(jing)髓，它的理念是(shi)“有(you)舍才有(you)得”，弱(ruo)化(hua)一些(xie)能(neng)力，但降低(di)了(le)部署門檻(jian)，讓開發者、研究者在本地(di)(di)計(ji)算機上進行大(da)模(mo)型的微調、部署、訓練成了(le)可(ke)能(neng)，進而(er)可(ke)更好(hao)地(di)(di)支持大(da)模(mo)型落地(di)(di)到(dao)海量(liang)場景(jing)。

在前幾天的(de)一(yi)次公開活(huo)動上，智(zhi)譜AICEO張鵬曾表達一(yi)個(ge)觀點(dian)，“AIGC產業基座是(shi)(shi)預訓練(lian)大模(mo)型，原因在于兩個(ge)方面(mian)：第一(yi)、通用(yong)泛(fan)化能力，為AI研發(fa)降本增(zeng)效，這是(shi)(shi)非常關鍵的(de)特性；第二，融(rong)入更多(duo)知(zhi)識(shi)，讓大模(mo)型能更好模(mo)擬人的(de)智(zhi)能。但與(yu)(yu)此同(tong)時也面(mian)臨著(zhu)一(yi)些挑戰(zhan)，比(bi)如成本高昂(ang)、訓練(lian)數據巨大，周(zhou)期長等。”ChatGLM-6B的(de)開源(yuan)正是(shi)(shi)智(zhi)譜AI實(shi)現通用(yong)泛(fan)化、降低AI研發(fa)門(men)檻與(yu)(yu)成本的(de)實(shi)踐。

開(kai)源一個月后，ChatGLM-6B的Huggingface全球(qiu)下載量已超過(guo)75萬，持續兩(liang)周位列Huggingface全球(qiu)模型趨勢(shi)榜榜首，GitHub星標數(shu)達到(dao)1.7萬。“小而美”的ChatGLM-6B在(zai)開(kai)源社區(qu)走(zou)熱是大模型熱的縮影。

ChatGLM-6B讓大模型技術“人人可用”

ChatGLM-6B通(tong)過(guo)輕量(liang)化的(de)模(mo)式(shi)實現大(da)模(mo)型(xing)(xing)(xing)的(de)通(tong)用(yong)泛化，解(jie)決了大(da)模(mo)型(xing)(xing)(xing)“高(gao)不可攀(pan)”這一(yi)開發者的(de)痛點。在日(ri)益蓬勃(bo)的(de)大(da)模(mo)型(xing)(xing)(xing)產(chan)業中，有著獨特占位的(de)ChatGLM-6B將(jiang)在AI技(ji)術普惠中扮演(yan)重(zhong)要角(jiao)色。具體來說，它將(jiang)給大(da)模(mo)型(xing)(xing)(xing)產(chan)業帶來如下好處：

1、降低大(da)(da)模(mo)型(xing)使用門檻。更多(duo)開發(fa)(fa)(fa)者可(ke)輕松部署大(da)(da)模(mo)型(xing)，一方面，ChatGLM-6B是開源(yuan)的(de)(de)，開發(fa)(fa)(fa)者可(ke)深入大(da)(da)模(mo)型(xing)底層一探究(jiu)竟，只有搞清楚(chu)大(da)(da)模(mo)型(xing)的(de)(de)運轉機制才能更好地利用好大(da)(da)模(mo)型(xing)技(ji)術(shu)。另一方面，開發(fa)(fa)(fa)者可(ke)基于(yu)ChatGLM-6B進行上層應(ying)用創新，開發(fa)(fa)(fa)出(chu)我們(men)今天想(xiang)都想(xiang)不(bu)到(dao)的(de)(de)創新AI應(ying)用，在工業化階段再切換(huan)到(dao)GLM-130B這(zhe)樣(yang)的(de)(de)千億(yi)級大(da)(da)模(mo)型(xing)上。

2、降低(di)(di)大(da)模(mo)(mo)型(xing)的訓練(lian)成本。大(da)模(mo)(mo)型(xing)訓練(lian)成本高(gao)昂且耗能，基于開源的ChatGLM-6B，開發者不再需(xu)要(yao)(yao)搭(da)建龐大(da)的算力體系，在(zai)訓練(lian)推理(li)時(shi)也不需(xu)要(yao)(yao)耗費驚人的電力資(zi)源、所需(xu)時(shi)間(jian)周期(qi)將大(da)幅縮短(duan)，進而更高(gao)效、低(di)(di)碳、經濟地應用大(da)模(mo)(mo)型(xing)技術，加速AI工業化大(da)生產(chan)。

3、有利于大模型的(de)教育(yu)普及。喬布斯(si)當(dang)年曾說人(ren)人(ren)都要會編程(cheng)，未來人(ren)人(ren)則要學(xue)(xue)會使用(yong)AI工(gong)具。在教育(yu)場(chang)景，計(ji)算機相關專業的(de)大學(xue)(xue)生以及對(dui)編程(cheng)有興趣的(de)青少年，只(zhi)要有一(yi)臺搭載顯卡的(de)計(ji)算機就能輕松地部署ChatGLM-6B，可以盡早了解并學(xue)(xue)會應用(yong)大模型這(zhe)一(yi)基礎(chu)技術。

個人(ren)覺得，“ChatGLM-6B+GLM-130B”的(de)組合模式(shi)給(gei)AI大(da)模型產(chan)業落地提供(gong)了(le)一個新的(de)范式(shi)：輕(qing)量級(ji)大(da)模型扮演普惠的(de)角色，讓更多(duo)人(ren)輕(qing)松“入門(men)”，學習、理解、熟悉大(da)模型技術，進(jin)行(xing)創新應用(yong)(yong)的(de)開發、驗證、測試等。到了(le)應用(yong)(yong)階段，如有(you)必要再使用(yong)(yong)GLM-130B這樣(yang)的(de)千億級(ji)工業化大(da)模型部(bu)署產(chan)品，面向客戶(hu)與用(yong)(yong)戶(hu)提供(gong)商業化服務。

寫在最后：

AI大模(mo)型(xing)技術掀起(qi)新一(yi)輪產業革命，人(ren)類社會的生產力、生產資(zi)料與生產關系都將被重新定義(yi)，人(ren)們(men)的生活(huo)與工作方(fang)式、企業的經營(ying)模(mo)式以(yi)及社會的治理(li)方(fang)式都在被重構。在這樣(yang)的大變局下，AI大模(mo)型(xing)已成為“國之重器”。

在技(ji)術浪潮涌來時，國(guo)際形勢正(zheng)波詭云譎(jue)，大國(guo)競爭日益激烈(lie)，科(ke)技(ji)是(shi)核心角力(li)場，不論是(shi)十(shi)四(si)五規劃(hua)綱要還是(shi)二十(shi)大均明確要增強(qiang)科(ke)技(ji)創新(xin)引領作用，實現高水平科(ke)技(ji)自(zi)立自(zi)強(qiang)。在這(zhe)樣的(de)時代(dai)背景下，大模型(xing)(xing)成(cheng)了跟芯片一樣的(de)制高點，我國(guo)必須要有自(zi)己的(de)底(di)層大模型(xing)(xing)技(ji)術，更(geng)需要有自(zi)己的(de)完整的(de)大模型(xing)(xing)應用與產(chan)業(ye)生(sheng)態。

這幾天，王小川與百度的(de)(de)(de)口水(shui)戰在大(da)(da)模(mo)(mo)(mo)型(xing)行業(ye)(ye)引發(fa)熱(re)議，其實爭論“我國(guo)大(da)(da)模(mo)(mo)(mo)型(xing)距(ju)離ChatGPT的(de)(de)(de)差(cha)距(ju)究竟是2個月(yue)還(huan)是2年”沒什么意義，我國(guo)大(da)(da)模(mo)(mo)(mo)型(xing)技(ji)術(shu)距(ju)離GPT還(huan)有客(ke)觀的(de)(de)(de)差(cha)距(ju)，推動大(da)(da)模(mo)(mo)(mo)型(xing)技(ji)術(shu)精進和產業(ye)(ye)落(luo)(luo)地，是大(da)(da)模(mo)(mo)(mo)型(xing)玩家(jia)們的(de)(de)(de)責任(ren)，行業(ye)(ye)更需要ChatGLM-6B這樣的(de)(de)(de)可(ke)落(luo)(luo)地的(de)(de)(de)解決方案，它大(da)(da)幅降(jiang)低了AI開(kai)發(fa)門檻(jian)，未(wei)來還(huan)可(ke)結(jie)合低代碼等技(ji)術(shu)實現“人(ren)人(ren)都會大(da)(da)模(mo)(mo)(mo)型(xing)開(kai)發(fa)”，這才(cai)是AI大(da)(da)模(mo)(mo)(mo)型(xing)技(ji)術(shu)普惠的(de)(de)(de)必經之路，也是我國(guo)AI大(da)(da)模(mo)(mo)(mo)型(xing)實現趕超的(de)(de)(de)關鍵。

在官方博客(ke)上，ChatGLM團隊有一段(duan)樸素的文字：

“我(wo)(wo)們(men)(men)一(yi)(yi)(yi)直(zhi)在(zai)探(tan)索(suo)、嘗試和(he)努(nu)(nu)力(li)，GLM系列模(mo)(mo)型(xing)取得了一(yi)(yi)(yi)絲(si)進展，但(dan)我(wo)(wo)們(men)(men)離國(guo)際頂尖大(da)模(mo)(mo)型(xing)研(yan)究(jiu)和(he)產品（比如(ru)OpenAI的(de)ChatGPT及下一(yi)(yi)(yi)代GPT模(mo)(mo)型(xing)）都還有(you)明顯差距(ju)。中(zhong)國(guo)大(da)模(mo)(mo)型(xing)研(yan)究(jiu)在(zai)原創算法、AI芯片和(he)產業(ye)上的(de)追趕與(yu)突破(po)需(xu)(xu)要(yao)大(da)家的(de)一(yi)(yi)(yi)起(qi)努(nu)(nu)力(li)，更需(xu)(xu)要(yao)我(wo)(wo)們(men)(men)對下一(yi)(yi)(yi)代AI人(ren)才的(de)培養與(yu)鍛煉。很幸運的(de)是，GLM團(tuan)隊在(zai)過去幾年(nian)探(tan)索(suo)的(de)過程(cheng)中(zhong)，有(you)一(yi)(yi)(yi)群有(you)情懷、有(you)能(neng)力(li)、有(you)格局的(de)年(nian)輕人(ren)加入我(wo)(wo)們(men)(men)并肩作(zuo)戰，快樂開卷，大(da)家一(yi)(yi)(yi)起(qi)焦(jiao)慮(lv)，一(yi)(yi)(yi)起(qi)熬夜，一(yi)(yi)(yi)起(qi)成長，一(yi)(yi)(yi)起(qi)創造。通用(yong)人(ren)工智(zhi)能(neng)探(tan)索(suo)，我(wo)(wo)們(men)(men)一(yi)(yi)(yi)直(zhi)在(zai)路上，努(nu)(nu)力(li)前行(xing)。”

我(wo)覺得還(huan)是很扎心的。大(da)模型(xing)熱潮(chao)中，渾水(shui)摸(mo)魚、蹭熱點、搞炒作的玩家不(bu)少，但也(ye)有(you)一些腳踏實地(di)(di)的團(tuan)隊正在(zai)研發大(da)模型(xing)技術，想(xiang)方設(she)法(fa)在(zai)推動大(da)模型(xing)落地(di)(di)，只爭朝夕地(di)(di)追趕先行者，他(ta)們，值得被尊敬。