对话ChatGPT之父我们不是为了炫耀参数数量而存在
·“我唯一懂得如何制定策略的方法就是，一次又一次地进行非常长期的、资本密集型的、困难技术相关的投资。而且我甚至不认为我在这方面特别擅长。我只是觉得没有太多人尝试这些，所以竞争很小。”
·“我认为对参数数量的关注度过高。”
山姆·奥特曼在麻省理工学院（MIT）举办的活动中远程连线。
ChatGPT开发机构OpenAI的CEO山姆·奥特曼4月曾在一个对话活动中称，他们没有在训练GPT-5，并提到“我们现在已经接近巨型模型时代的尾声”，正在寻其他方式改进模型。
这场名为“想象行动”的活动由麻省理工学院（MIT）举办，其完整对话内容在当地时间5月8日被主办方公布。奥特曼在对话中详细阐述了他的思路，认为模型规模不一定能带来最佳的效果，模型能力才是最重要的结果。
格力空调好不好
奥特曼被问及基于大模型的商业思路，他坦承自己不是商业策略家，“很多公司用非常轻量级
的东西构建了具有掠夺性机制的产品，但这并不是什么持久之计。而那些真正按照正常步骤去打造伟大企业的公司在过去15年里持续发展。所以你肯定希望成为后者。”
以下是对话内容，略有删节：
主持人：第一个我想问的是，如果AGI（通用人工智能）即将到来，那么我们现在正处于一个拐点。人类历史在AGI出现之前是一个段落，然后，从这里开始显然有一个完全不同的历史。所以在我看来，无论事态如何发展，你都将成为历史书中的焦点。你认为是这样吗？
送老师什么礼物好奥特曼：你说的“这样”是指什么？
主持人：关于历史将如何描述这个时刻，这个时刻是（人工智能）这个领域里的创新之年。
奥特曼：我希望这会成为历史书中的一页或一章，但我认为在接下来的几十亿年里会发生如此多不可思议的事情，以至于这将只是其中的一个小部分。所以我认为，在我们面前会有更多新的、更大的、更令人兴奋的机遇和挑战。
动态背景图怎么弄
主持人：你能否给刚创业的公司一些快速建议，需要从一开始就做出哪些决定？从哪里开始？如何让它在任何特定的垂直用例中发挥作用？等等。
奥特曼：没有什么能超过你为用户打造一个他们喜爱的产品的责任。你要非常了解你的用户，满足他们的需求，考虑长期可持续的商业策略。在平台转换期间，这实际上可能变得更加重要，而不是变得不那么重要。
回想一下应用商店的推出，这可能是最近类似的例子，有很多公司用非常轻量级的东西构建了具有掠夺性机制的产品，但这并不是什么持久之计。这样的公司经历了令人难以置信的流星般的兴衰。而那些真正按照正常步骤去打造伟大企业的公司在过去15年里持续发展。所以你肯定希望成为后者。
胭脂结局
技术只是一个新的推动器，但你作为公司需要做的是建立一个具有长期复合战略优势的优秀公司。
主持人：让我们开始谈谈基础大模型。回顾过去两年，开始的最好方法之一是采用现有的基础模型，添加一些层，然后针对垂直领域重新训练它。现在基础模型可能有一万亿个参
数，规模要大得多。但是，在不重新训练的情况下对其进行操作的能力也要灵活得多。我认为现在基本模型中有50000个可用的token（在自然语言处理中，token是指一组相关的字符序列，例如一个单词或一个标点符号） ？
奥特曼：最大的模型中大约有32000个，基础模型中有8000个。
主持人：那么，基础模型未来会如何迭代？这应该相当快就会被推出了。
奥特曼：我们仍在努力弄清楚，开发者在模型定制方面到底需要什么。我们愿意在这里做很多事情，我们也把开发者当作我们的用户。因此，我们的目标是让开发者非常满意，弄清楚他们需要什么。
我们原以为这将是一个更精细的微调（finetune）的故事，我们一直在思考如何以不同的方式提供这种服务。但是，人们似乎更喜欢使用基础模型来完成一些非常了不起的事情，所以我们正在积极地重新考虑，要优先考虑哪些定制。
因为用户需要的东西似乎在模型变得越来越好的情况下也在不断改进。随着模型越来越好，对微调的需求也越来越小，你可以在上下文中做越来越多的事情。
主持人：当你说微调时，你是指改变参数权重。
奥特曼：是的。我们肯定会在GPT里提供一些修改参数权重的功能，但就目前来看，与提供非常便宜的上下文能力相比，可能调整参数权重的使用频率会较低，如果我们能解决（可输入）100万个token的问题的话。
主持人：我们来稍微深入了解一下。无论具体细节如何， 趋势似乎是，随着模型变得越来越大，从1万亿到10万亿个参数，prompt提示工程的能力规模以及token规模的数量，都与模型参数规模不成比例地增长， 这听起来对吗？
奥特曼：从参数规模的角度，不成比例地增长，是的。但我认为我们现在已经接近这些巨型模型时代的尾声。我们将通过其他方式改进它们。我想说的是，它们和模型能力成比例地增长。
什么牌子的眼霜比较好主持人：关于基础模型的创建投资，在训练过程中可能需要5000万至1亿美元的规模？
街机摇杆奥特曼：我们没有透露过具体金额，但实际上比这个数字要多得多。
主持人：随着时间的推移，投资也在增加。那么，试图从零开始的人需要迎头赶上，他们可能要追赶一个巨大的差距。
奥特曼：也许我们都很愚蠢，错过了一个重要的想法，所有这些或许并不像我们想象的那么困难或昂贵，可能将有一个完全新的范例取代我们。这对世界来说是好事，尽管对我们来说可能不是。
主持人：让我听听你对这些事情的看法。保罗·格雷厄姆（美国风险投资家）称，你是他见过的最伟大的商业策略家。在场所有这些人都在努力应对他们的商业策略，思考到底要建立什么和在哪里建立。所以我一直在问你一些问题，这些问题或多或少地涉及到在GPT-4、ChatGPT以及即将到来的GPT-5等基础之上的垂直应用案例。但是，还有许多与之相邻的商业模式，如联合学习、数据调节或部署等。
如果你只是投资于这个生态系统中的一类公司，那也是有趣的商业模式。关于哪里有更高回报、哪里有更快增长的商业模式，你有什么想法？
奥特曼：我不认为保罗·格雷厄姆真的那样说过。我知道他说过类似的话，但无论如何，我不认为这是真的。
我觉得有些人是难以置信的商业策略家，而我不是其中之一、所以我在这里犹豫不决地给建议。
我唯一懂得如何制定策略的方法就是，一次又一次地进行非常长期的、资本密集型的、困难技术相关的投资。而且我甚至不认为我在这方面特别擅长。我只是觉得没有太多人尝试这些，所以竞争很小，这种策略我认为没有太多竞争。