据人工智能新闻网站The Decoder报道，Meta可能正在酝酿开发一款比GPT-4更为强大的AI大型模型，名为Llama 3，并计划将其保持开源免费。
报道中提到，这一消息来自于OpenAI的工程师，曾任Google Brain工程师的Jason Wei，在参加Meta旗下Generative AI Group社交活动时获得的线报。
Jason Wei注意到，Meta现在已经具备足够的计算能力来进行Llama 3和4的训练。他透露，Llama 3的目标是达到GPT-4的性能水平，但仍将免费提供给用户。然而，目前Meta尚未正式宣布Llama 3的发布计划。尽管消息来源可靠，但也不能排除其中可能存在误差的可能性。
值得一提的是，从2023年2月下旬发布Llama 1到2023年7月下旬发布Llama 2，Meta共花费了大约五个月的时间。GPT-4采用了更为复杂的混合架构，具有16个专家网络，每个网络拥有约1110亿个参数，这或许是其高性能的秘诀。因此，从Llama 2升级到Llama 3可能需要更多挑战性的工作，可能会比从Llama 1跃升到Llama 2所需的时间更长。
值得关注的是，Llama 2在某些应用领域已经达到了GPT-3.5的水平，并且正在由开源社区不断进行微调和功能扩展。例如，最近发布的Code Llama就是基于Llama 2，通过微调已经在HumanEval编码基准中达到了GPT-3.5和GPT-4级别的成绩（具体效果取决于测量类型）。然而，Meta在其论文中指出，尽管如此，Llama 2与GPT-4和Google的PaLM-2等封闭源模型仍存在较大的性能差距。因此，Llama 3是否能够超越GPT-4，仍有待观察。
