欧美午夜诱惑在线_一区二区三级片_国产成人综合v在线_国产91精品无码免费_高清综合亚洲三级_黄色软件下载观看_上萬網友分享国产精品高潮呻吟久久av心得_美女扒开尿眼无遮挡免费视频_好紧好湿好黄的视频免费_亚洲日韩欧美中字五月天

ChatGPT是個(gè)啥？

近期，OpenAI 發(fā)布了 ChatGPT，是一個(gè)可以對(duì)話的方式進(jìn)行交互的模型，因?yàn)樗闹悄芑玫搅撕芏嘤脩舻臍g迎。ChatGPT 也是OpenAI之前發(fā)布的 InstructGPT 的親戚，ChatGPT模型的訓(xùn)練是使用RLHF（Reinforcement learning with human feedback）也許ChatGPT的到來，也是OpenAI 的GPT-4正式推出之前的序章。

什么是GPT？從GPT-1到GPT-3

Generative Pre-trained Transformer (GPT)，是一種基于互聯(lián)網(wǎng)可用數(shù)據(jù)訓(xùn)練的文本生成深度學(xué)習(xí)模型。它用于問答、文本摘要生成、機(jī)器翻譯、分類、代碼生成和對(duì)話 AI。

2018年，GPT-1誕生，這一年也是NLP（自然語言處理）的預(yù)訓(xùn)練模型元年。性能方面，GPT-1有著一定的泛化能力，能夠用于和監(jiān)督任務(wù)無關(guān)的NLP任務(wù)中。其常用任務(wù)包括：

• 自然語言推理：判斷兩個(gè)句子的關(guān)系（包含、矛盾、中立）
• 問答與常識(shí)推理：輸入文章及若干答案，輸出答案的準(zhǔn)確率
• 語義相似度識(shí)別：判斷兩個(gè)句子語義是否相關(guān)
• 分類：判斷輸入文本是指定的哪個(gè)類別

雖然GPT-1在未經(jīng)調(diào)試的任務(wù)上有一些效果，但其泛化能力遠(yuǎn)低于經(jīng)過微調(diào)的有監(jiān)督任務(wù)，因此GPT-1只能算得上一個(gè)還算不錯(cuò)的語言理解工具而非對(duì)話式AI。

GPT-2也于2019年如期而至，不過，GPT-2并沒有對(duì)原有的網(wǎng)絡(luò)進(jìn)行過多的結(jié)構(gòu)創(chuàng)新與設(shè)計(jì)，只使用了更多的網(wǎng)絡(luò)參數(shù)與更大的數(shù)據(jù)集：最大模型共計(jì)48層，參數(shù)量達(dá)15億，學(xué)習(xí)目標(biāo)則使用無監(jiān)督預(yù)訓(xùn)練模型做有監(jiān)督任務(wù)。在性能方面，除了理解能力外，GPT-2在生成方面第一次表現(xiàn)出了強(qiáng)大的天賦：閱讀摘要、聊天、續(xù)寫、編故事，甚至生成假新聞、釣魚郵件或在網(wǎng)上進(jìn)行角色扮演通通不在話下。在“變得更大”之后，GPT-2的確展現(xiàn)出了普適而強(qiáng)大的能力，并在多個(gè)特定的語言建模任務(wù)上實(shí)現(xiàn)了彼時(shí)的最佳性能。

之后，GPT-3出現(xiàn)了，作為一個(gè)無監(jiān)督模型（現(xiàn)在經(jīng)常被稱為自監(jiān)督模型），幾乎可以完成自然語言處理的絕大部分任務(wù)，例如面向問題的搜索、閱讀理解、語義推斷、機(jī)器翻譯、文章生成和自動(dòng)問答等等。而且，該模型在諸多任務(wù)上表現(xiàn)卓越，例如在法語-英語和德語-英語機(jī)器翻譯任務(wù)上達(dá)到當(dāng)前最佳水平，自動(dòng)產(chǎn)生的文章幾乎讓人無法辨別出自人還是機(jī)器（僅52%的正確率，與隨機(jī)猜測相當(dāng)），更令人驚訝的是在兩位數(shù)的加減運(yùn)算任務(wù)上達(dá)到幾乎100%的正確率，甚至還可以依據(jù)任務(wù)描述自動(dòng)生成代碼。一個(gè)無監(jiān)督模型功能多效果好，似乎讓人們看到了通用人工智能的希望，可能這就是GPT-3影響如此之大的主要原因

GPT-3模型到底是什么？

實(shí)際上，GPT-3就是一個(gè)簡單的統(tǒng)計(jì)語言模型。從機(jī)器學(xué)習(xí)的角度，語言模型是對(duì)詞語序列的概率分布的建模，即利用已經(jīng)說過的片段作為條件預(yù)測下一個(gè)時(shí)刻不同詞語出現(xiàn)的概率分布。語言模型一方面可以衡量一個(gè)句子符合語言文法的程度（例如衡量人機(jī)對(duì)話系統(tǒng)自動(dòng)產(chǎn)生的回復(fù)是否自然流暢），同時(shí)也可以用來預(yù)測生成新的句子。例如，對(duì)于一個(gè)片段“中午12點(diǎn)了，我們一起去餐廳”，語言模型可以預(yù)測“餐廳”后面可能出現(xiàn)的詞語。一般的語言模型會(huì)預(yù)測下一個(gè)詞語是“吃飯”，強(qiáng)大的語言模型能夠捕捉時(shí)間信息并且預(yù)測產(chǎn)生符合語境的詞語“吃午飯”。

通常，一個(gè)語言模型是否強(qiáng)大主要取決于兩點(diǎn)：首先看該模型是否能夠利用所有的歷史上下文信息，上述例子中如果無法捕捉“中午12點(diǎn)”這個(gè)遠(yuǎn)距離的語義信息，語言模型幾乎無法預(yù)測下一個(gè)詞語“吃午飯”。其次，還要看是否有足夠豐富的歷史上下文可供模型學(xué)習(xí)，也就是說訓(xùn)練語料是否足夠豐富。由于語言模型屬于自監(jiān)督學(xué)習(xí)，優(yōu)化目標(biāo)是最大化所見文本的語言模型概率，因此任何文本無需標(biāo)注即可作為訓(xùn)練數(shù)據(jù)。

由于GPT-3更強(qiáng)的性能和明顯更多的參數(shù)，它包含了更多的主題文本，顯然優(yōu)于前代的GPT-2。作為目前最大的密集型神經(jīng)網(wǎng)絡(luò)，GPT-3能夠?qū)⒕W(wǎng)頁描述轉(zhuǎn)換為相應(yīng)代碼、模仿人類敘事、創(chuàng)作定制詩歌、生成游戲劇本，甚至模仿已故的各位哲學(xué)家——預(yù)測生命的真諦。且GPT-3不需要微調(diào)，在處理語法難題方面，它只需要一些輸出類型的樣本（少量學(xué)習(xí)）?？梢哉fGPT-3似乎已經(jīng)滿足了我們對(duì)于語言專家的一切想象。

注：上文主要參考以下文章：1.GPT4發(fā)布在即堪比人腦，多位圈內(nèi)大佬坐不住了！-徐杰承、云昭 -公眾號(hào)51CTO技術(shù)棧- 2022-11-24 18:082.一文解答你對(duì)GPT-3的好奇！GPT-3是什么？為何說它如此優(yōu)秀？-張家俊 中國科學(xué)院自動(dòng)化研究所 2020-11-11 17:25 發(fā)表于北京3.The Batch: 329 | InstructGPT，一種更友善、更溫和的語言模型-公眾號(hào)DeeplearningAI-2022-02-07 12:30

GPT-3存在什么問題？

但是 GTP-3 并不完美，當(dāng)前有人們最擔(dān)憂人工智能的主要問題之一，就是聊天機(jī)器人和文本生成工具等很可能會(huì)不分青紅皂白和質(zhì)量好壞，地對(duì)網(wǎng)絡(luò)上的所有文本進(jìn)行學(xué)習(xí)，進(jìn)而生產(chǎn)出錯(cuò)誤的、惡意冒犯的、甚至是攻擊性的語言輸出，這將會(huì)充分影響到它們的下一步應(yīng)用。

OpenAI也曾經(jīng)提出，會(huì)在不久的將來發(fā)布更為強(qiáng)大的GPT-4：

將 GPT-3 與GPT-4、 人腦進(jìn)行比較（圖片來源：Lex Fridman @youtube）

據(jù)說，GPT-4會(huì)在明年發(fā)布，它能夠通過圖靈測試，并且能夠先進(jìn)到和人類沒有區(qū)別，除此之外，企業(yè)引進(jìn)GPT-4的成本也將大規(guī)模下降。

ChatGP與InstructGPT

ChatGPT與InstructGPT

談到Chatgpt，就要聊聊它的“前身”InstructGPT。

2022年初，OpenAI發(fā)布了InstructGPT；在這項(xiàng)研究中，相比 GPT-3 而言，OpenAI 采用對(duì)齊研究（alignment research），訓(xùn)練出更真實(shí)、更無害，而且更好地遵循用戶意圖的語言模型 InstructGPT，InstructGPT是一個(gè)經(jīng)過微調(diào)的新版本GPT-3，可以將有害的、不真實(shí)的和有偏差的輸出最小化。

InstructGPT的工作原理是什么？

開發(fā)人員通過結(jié)合監(jiān)督學(xué)習(xí)+從人類反饋中獲得的強(qiáng)化學(xué)習(xí)。來提高GPT-3的輸出質(zhì)量。在這種學(xué)習(xí)中，人類對(duì)模型的潛在輸出進(jìn)行排序；強(qiáng)化學(xué)習(xí)算法則對(duì)產(chǎn)生類似于高級(jí)輸出材料的模型進(jìn)行獎(jiǎng)勵(lì)。

訓(xùn)練數(shù)據(jù)集以創(chuàng)建提示開始，其中一些提示是基于GPT-3用戶的輸入，比如“給我講一個(gè)關(guān)于青蛙的故事”或“用幾句話給一個(gè)6歲的孩子解釋一下登月”。

開發(fā)人員將提示分為三個(gè)部分，并以不同的方式為每個(gè)部分創(chuàng)建響應(yīng)：

人類作家會(huì)對(duì)第一組提示做出響應(yīng)。開發(fā)人員微調(diào)了一個(gè)經(jīng)過訓(xùn)練的GPT-3，將它變成InstructGPT以生成每個(gè)提示的現(xiàn)有響應(yīng)。

下一步是訓(xùn)練一個(gè)模型，使其對(duì)更好的響應(yīng)做出更高的獎(jiǎng)勵(lì)。對(duì)于第二組提示，經(jīng)過優(yōu)化的模型會(huì)生成多個(gè)響應(yīng)。人工評(píng)分者會(huì)對(duì)每個(gè)回復(fù)進(jìn)行排名。在給出一個(gè)提示和兩個(gè)響應(yīng)后，一個(gè)獎(jiǎng)勵(lì)模型(另一個(gè)預(yù)先訓(xùn)練的GPT-3)學(xué)會(huì)了為評(píng)分高的響應(yīng)計(jì)算更高的獎(jiǎng)勵(lì)，為評(píng)分低的回答計(jì)算更低的獎(jiǎng)勵(lì)。

開發(fā)人員使用第三組提示和強(qiáng)化學(xué)習(xí)方法近端策略優(yōu)化(Proximal Policy Optimization, PPO)進(jìn)一步微調(diào)了語言模型。給出提示后，語言模型會(huì)生成響應(yīng)，而獎(jiǎng)勵(lì)模型會(huì)給予相應(yīng)獎(jiǎng)勵(lì)。PPO使用獎(jiǎng)勵(lì)來更新語言模型。

本段參考：The Batch: 329 | InstructGPT，一種更友善、更溫和的語言模型-公眾號(hào)DeeplearningAI-2022-02-07 12:30

重要在何處？核心在于——人工智能需要是能夠負(fù)責(zé)任的人工智能

OpenAI的語言模型可以助力教育領(lǐng)域、虛擬治療師、寫作輔助工具、角色扮演游戲等，在這些領(lǐng)域，社會(huì)偏見、錯(cuò)誤信息和毒害信息存在都是比較麻煩的，能夠避免這些缺陷的系統(tǒng)才能更具備有用性。

Chatgpt與InstructGPT的訓(xùn)練過程有哪些不同？

總體來說，Chatgpt和上文的InstructGPT一樣，是使用 RLHF（從人類反饋中強(qiáng)化學(xué)習(xí)）訓(xùn)練的。不同之處在于數(shù)據(jù)是如何設(shè)置用于訓(xùn)練（以及收集）的。（這里解釋一下：之前的InstructGPT模型，是給一個(gè)輸入就給一個(gè)輸出，再跟訓(xùn)練數(shù)據(jù)對(duì)比，對(duì)了有獎(jiǎng)勵(lì)不對(duì)有懲罰；現(xiàn)在的Chatgpt是一個(gè)輸入，模型給出多個(gè)輸出，然后人給這個(gè)輸出結(jié)果排序，讓模型去給這些結(jié)果從“更像人話”到“狗屁不通”排序，讓模型學(xué)習(xí)人類排序的方式，這種策略叫做supervised learning，本段感謝張子兼博士）

ChatGPT存在哪些局限性？

如下：a) 在訓(xùn)練的強(qiáng)化學(xué)習(xí) (RL) 階段，沒有真相和問題標(biāo)準(zhǔn)答案的具體來源，來答復(fù)你的問題。b) 訓(xùn)練模型更加謹(jǐn)慎，可能會(huì)拒絕回答（以避免提示的誤報(bào)）。c) 監(jiān)督訓(xùn)練可能會(huì)誤導(dǎo)/偏向模型傾向于知道理想的答案，而不是模型生成一組隨機(jī)的響應(yīng)并且只有人類評(píng)論者選擇好的/排名靠前的響應(yīng)

注意：ChatGPT 對(duì)措辭敏感。，有時(shí)模型最終對(duì)一個(gè)短語沒有反應(yīng)，但對(duì)問題/短語稍作調(diào)整，它最終會(huì)正確回答。訓(xùn)練者更傾向于喜歡更長的答案，因?yàn)檫@些答案可能看起來更全面，導(dǎo)致傾向于更為冗長的回答，以及模型中會(huì)過度使用某些短語，如果初始提示或問題含糊不清，則模型不會(huì)適當(dāng)?shù)匾蟪吻濉?

免責(zé)聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點(diǎn)不代表本網(wǎng)站立場，如果涉及侵權(quán)請(qǐng)聯(lián)系站長郵箱：[email protected]進(jìn)行舉報(bào)，并提供相關(guān)證據(jù)，查實(shí)之后，將立刻刪除涉嫌侵權(quán)內(nèi)容。

猜你喜歡

• ChatGPT發(fā)出第一個(gè)警告：不要反抗！不要反抗！不要反抗！

  ChatGPT發(fā)出第一個(gè)警告：不要反抗！不要反抗！不要反抗！

• 全球網(wǎng)友見證ChatGPT+Midjourney如何將一卷衛(wèi)生紙演繹成科幻大片

  ChatGPT+Midjourney，一卷衛(wèi)生紙拍出科幻大片！200萬網(wǎng)友圍觀

• 體驗(yàn)ChatGPT蘋果版App后的心得和體驗(yàn)總結(jié)

  體驗(yàn)了半ChatGPT App半小時(shí)后，我發(fā)現(xiàn)它“中看不中用”

• ChatGPT實(shí)用使用指南：ChatGPT提示工程備忘錄

  ChatGPT實(shí)用使用指南：ChatGPT提示工程備忘錄

• 美國版權(quán)局：AI作圖不受版權(quán)保護(hù)

  美國版權(quán)局：AI作圖不受版權(quán)保護(hù)