📄️ 简介
"GPT-4，这是OpenAI在扩大深度学习方面的最新里程碑。GPT-4是一个大型的多模态模型（接受图像和文本输入，发出文本输出），虽然在许多现实世界的场景中能力不如人类，但在各种专业和学术基准上表现出人类水平的性能。" --OpenAI
📄️ 训练
在预训练过程中，GPT-4的训练数据包含了大量网络上爬下来的数据，包括了很多有正解和错误解的数学问题、强推理、弱推理、自相矛盾的，保持一致的陈述、各种各样的意识形态和想法的文本。
📄️ 预测scaling
前面提到过OpenAI为了稳定地训练大语言模型专门建立了训练模型的集群，并且有专门的优化方法能够在不同尺度的实验上可以稳定地预测。OpenAI的团队在GPT-4开始训练的时候就已经能预测GPT-4最终完成的loss，具体来说他们在使用一个小一万倍的模型上训练出来的Loss，并且推出GPT-4的Loss，最终证实了预测与实际的Loss是拟合的。
📄️ 能力
GPT-4能力大赏
📄️ 可控性
之前版本的ChatGPT，它回复的风格、语气是一致的。而GPT-4有一个叫System Message的功能，这个东西可以给模型设置某个角色、定义它的人格，让它以你想要的语气来回答你的问题。
📄️ 局限性
虽然GPT-4很强大，但还是有不少局限性。首先，GPT-4仍然是生成模型，生成模型的一个通病就是它生成的东西有可能是不准确的，它会编造一些事实，以及一些推理仍然会出错。不同于搜索引擎，语言模型生成的东西还不是完全可靠的，比如有的同学让ChatGPT写论文，它的参考文献很多都是编造的。所以大家在一些领域，尤其是敏感领域中要使用ChatGPT的话，要谨慎使用。