偷偷做久久久久网站,久久久久久亚洲精品不卡,亚洲精品偷拍的自拍的,无码毛片内射白浆视频,国产精品小说

Internet Develppment
互聯(lián)網(wǎng)開(kāi)發(fā)& 推廣服務(wù)提供商

我們擅長(cháng)商業(yè)策略與用戶(hù)體驗的完美結合。

歡迎瀏覽我們的案例。

首頁(yè) > 新聞中心 > 新聞動(dòng)態(tài) > 正文

清華大學(xué)頂尖NLP團隊 公開(kāi)自研類(lèi)似ChatGPT的大模型

發(fā)布時(shí)間:2023-03-23 11:11:22來(lái)源:IT之家

  在 ChatGPT 的核心團隊中,不乏清華大學(xué)畢業(yè)進(jìn)入 OpenAI 的開(kāi)發(fā)者,就在 GPT-4 發(fā)布的同一天,清華大學(xué)頂尖的 NLP 團隊,也公開(kāi)了自研的類(lèi) ChatGPT 的大模型 —— 中英雙語(yǔ)對話(huà)模型 ChatGLM-6B,初具問(wèn)答和對話(huà)功能,現已開(kāi)啟邀請制內測,后續還會(huì )逐步擴大內測范圍。


圖片來(lái)自網(wǎng)絡(luò )/侵刪

  官方博客中提到,這是一個(gè)初具問(wèn)答和對話(huà)功能的千億中英語(yǔ)言模型,并針對中文進(jìn)行了優(yōu)化。該模型基于 General Language Model(GLM)架構,具有 62 億參數。結合模型量化技術(shù),用戶(hù)可以在消費級的顯卡上進(jìn)行本地部署(INT4 量化級別下最低只需 6GB 顯存)。ChatGLM-6B 使用了和 ChatGLM 相同的技術(shù),針對中文問(wèn)答和對話(huà)進(jìn)行了優(yōu)化。經(jīng)過(guò)約 1T 標識符的中英雙語(yǔ)訓練,輔以監督微調、反饋自助、人類(lèi)反饋強化學(xué)習等技術(shù)的加持,62 億參數的 ChatGLM-6B 雖然規模不及千億模型,但大大降低了推理成本,提升了效率,并且已經(jīng)能生成相當符合人類(lèi)偏好的回答。

  具體來(lái)說(shuō),ChatGLM-6B 具備以下特點(diǎn):

  充分的中英雙語(yǔ)預訓練:ChatGLM-6B 在 1:1 比例的中英語(yǔ)料上訓練了 1T 的 token 量,兼具雙語(yǔ)能力。

  優(yōu)化的模型架構和大?。何?GLM-130B 訓練經(jīng)驗,修正了二維 RoPE 位置編碼實(shí)現,使用傳統 FFN 結構。6B(62 億)的參數大小,也使得研究者和個(gè)人開(kāi)發(fā)者自己微調和部署 ChatGLM-6B 成為可能。

  較低的部署門(mén)檻:FP16 半精度下,ChatGLM-6B 需要至少 13 GB 的顯存進(jìn)行推理,結合模型量化技術(shù),這一需求可以進(jìn)一步降低到 10GB(INT8)和 6GB(INT4),使得 ChatGLM-6B 可以部署在消費級顯卡上。

  更長(cháng)的序列長(cháng)度:相比 GLM-10B(序列長(cháng)度 1024),ChatGLM-6B 序列長(cháng)度達 2048,支持更長(cháng)對話(huà)和應用。

  人類(lèi)意圖對齊訓練:使用了監督微調(Supervised Fine-Tuning)、反饋自助(Feedback Bootstrap)、人類(lèi)反饋強化學(xué)習(RLHF)等方式,使模型初具理解人類(lèi)指令意圖的能力。輸出格式為 markdown,方便展示。

  因此,ChatGLM-6B 具備了一定條件下較好的對話(huà)與問(wèn)答能力。當然,ChatGLM-6B 也有相當多已知的局限和不足:

  模型容量較?。?6B 的小容量,決定了其相對較弱的模型記憶和語(yǔ)言能力。在面對許多事實(shí)性知識任務(wù)時(shí),ChatGLM-6B 可能會(huì )生成不正確的信息;她也不擅長(cháng)邏輯類(lèi)問(wèn)題(如數學(xué)、編程)的解答。

  可能會(huì )產(chǎn)生有害說(shuō)明或有偏見(jiàn)的內容: ChatGLM-6B 只是一個(gè)初步與人類(lèi)意圖對齊的語(yǔ)言模型,可能會(huì )生成有害、有偏見(jiàn)的內容。

  較弱的多輪對話(huà)能力: ChatGLM-6B 的上下文理解能力還不夠充分,在面對長(cháng)答案生成,以及多輪對話(huà)的場(chǎng)景時(shí),可能會(huì )出現上下文丟失和理解錯誤的情況。

  英文能力不足: 訓練時(shí)使用的指示大部分都是中文的,只有一小部分指示是英文的。因此在使用英文指示時(shí),回復的質(zhì)量可能不如中文指示的回復,甚至與中文指示下的回復矛盾。

  易被誤導: ChatGLM-6B 的“自我認知”可能存在問(wèn)題,很容易被誤導并產(chǎn)生錯誤的言論。例如當前版本模型在被誤導的情況下,會(huì )在自我認知上發(fā)生偏差。即使該模型經(jīng)過(guò)了 1 萬(wàn)億標識符(token)左右的雙語(yǔ)預訓練,并且進(jìn)行了指令微調和人類(lèi)反饋強化學(xué)習(RLHF),但是因為模型容量較小,所以在某些指示下可能會(huì )產(chǎn)生有誤導性的內容。

  該團隊稱(chēng),一直在探索、嘗試和努力,GLM 系列模型取得了一絲進(jìn)展,但離國際頂尖大模型研究和產(chǎn)品(比如 OpenAI 的 ChatGPT 及下一代 GPT 模型)都還有明顯差距。中國大模型研究在原創(chuàng )算法、AI 芯片和產(chǎn)業(yè)上的追趕與突破需要大家的一起努力,更需要我們對下一代 AI 人才的培養與鍛煉。
 ?。?a href="http://www.wxlp666.cn">碼上科技)

最新資訊
? 2018 河北碼上網(wǎng)絡(luò )科技有限公司 版權所有 冀ICP備18021892號-1   
? 2018 河北碼上科技有限公司 版權所有.
偷偷做久久久久网站,久久久久久亚洲精品不卡,亚洲精品偷拍的自拍的,无码毛片内射白浆视频,国产精品小说