chatgpt和instruct GPT是同源的，是一種指令式的命令，

簡(jiǎn)單來(lái)說(shuō)就是先通過(guò)人工的標(biāo)注方式來(lái)訓(xùn)練出一一種強(qiáng)化學(xué)習(xí)的冷啟動(dòng)模型和reward反饋模型。

然后再通過(guò)強(qiáng)化學(xué)習(xí)的模式來(lái)學(xué)習(xí)出對(duì)話友好的chatGPT。

從GPT-3的輸入語(yǔ)句數(shù)據(jù)集中采樣部分輸入，然后再用人工標(biāo)注來(lái)完成輸出結(jié)果和行為，之后再對(duì)GPT-3進(jìn)行有監(jiān)督的訓(xùn)練，這就是指令式GPT的冷啟動(dòng)模型。

在采樣的輸入語(yǔ)句里面，前向推理就可以獲得很多歌模型輸出結(jié)果，然后再通過(guò)人工標(biāo)注的行為來(lái)對(duì)這些輸出的結(jié)果進(jìn)行各種排序和打標(biāo)，這些數(shù)據(jù)就是用來(lái)訓(xùn)練成為reward反饋模型。

采樣一些新的輸入語(yǔ)句，在用policy策略網(wǎng)絡(luò)生成輸出結(jié)果，通過(guò)反饋模型來(lái)計(jì)算反饋，之后再用作policy策略網(wǎng)絡(luò)。