📄️ 简介
"GPT-4,这是OpenAI在扩大深度学习方面的最新里程碑。GPT-4是一个大型的多模态模型(接受图像和文本输入,发出文本输出),虽然在许多现实世界的场景中能力不如人类,但在各种专业和学术基准上表现出人类水平的性能。" --OpenAI
📄️ 训练
在预训练过程中,GPT-4的训练数据包含了大量网络上爬下来的数据,包括了很多有正解和错误解的数学问题、强推理、弱推理、自相矛盾的,保持一致的陈述、各种各样的意识形态和想法的文本。
📄️ 预测scaling
前面提到过OpenAI为了稳定地训练大语言模型专门建立了训练模型的集群,并且有专门的优化方法能够在不同尺度的实验上可以稳定地预测。OpenAI的团队在GPT-4开始训练的时候就已经能预测GPT-4最终完成的loss,具体来说他们在使用一个小一万倍的模型上训练出来的Loss,并且推出GPT-4的Loss,最终证实了预测与实际的Loss是拟合的。
📄️ 能力
GPT-4能力大赏
📄️ 可控性
之前版本的ChatGPT,它回复的风格、语气是一致的。而GPT-4有一个叫System Message的功能,这个东西可以给模型设置某个角色、定义它的人格,让它以你想要的语气来回答你的问题。
📄️ 局限性
虽然GPT-4很强大,但还是有不少局限性。首先,GPT-4仍然是生成模型,生成模型的一个通病就是它生成的东西有可能是不准确的,它会编造一些事实,以及一些推理仍然会出错。不同于搜索引擎,语言模型生成的东西还不是完全可靠的,比如有的同学让ChatGPT写论文,它的参考文献很多都是编造的。所以大家在一些领域,尤其是敏感领域中要使用ChatGPT的话,要谨慎使用。