作者：Cherry，Investment Manager, NGC Ventures
前言
本文初稿于八月底休息日摸鱼之余完成，草率发布后受到了诸多指教，笔者遂增改删了一部分内容，以免贻笑大方。
本文的内容主要是站在投资视角对AI行业的现状进行评价、对不同公司的技术/产品路线进行反思和猜想、对AI行业公司的战略进行抽象总结。因此，涉及到具体技术的部分，难免有疏漏，还请多包涵。
不过说到底，能发论文的几家大公司还撕的不可开交，似乎也没人能评价本文内容的正误。就像用GPT-4给GPT-3.5打分一样，看起来合理，仔细想想是有点抽象的。
因此笔者建议，将本文视为对不确定性行业的信息搜集后形成的“判断”。既然是判断，立场必须鲜明，必须言之有物。至于判断到底对不对，就留给时间检验吧。
笔者始终认为：新行业噪音大，多动脑、敢于下判断总是没错的。对于判断题，盲猜的正确率是50%，而连续猜错三次的概率是12.5%，哪怕是扔硬币级别的下判断，也是有意义的。下判断并不可怕，判断准确率低于扔硬币才是最可怕的。
在正式开启本文之前，需要感谢以下工作，为本文提供了宝贵的灵感和数据源。当然，由于本文有许多推论都是基于这些工作，如果其中包含错误、或笔者理解有误，本文的推论也将不再稳健，请读者自行甄别。本文不构成投资建议，也很难构成投资建议。
•Chain-of-Thought Hub: A Continuous Effort to Measure Large Language Models' Reasoning Performance（https://arxiv.org/abs/2305.17306）
•LIMA: Less Is More for Alignment（https://arxiv.org/abs/2305.11206）
•June 2023, A Stage Review of Instruction Tuning（https://yaofu.notion.site/June-2023-A-Stage-Review-of-Instruction-Tuning-f59dbfc36e2d4e12a33443bd6b2012c2）
•GPT-4 Architecture, Infrastructure, Training Dataset, Costs, Vision, MoE（https://www.semianalysis.com/p/gpt-4-architecture-infrastructure）
好了，让我们正式开始本文。
大模型：发射赛博火箭
2023年讨论AI的第一步，就是讨论大模型创业到底还能不能做。
大模型（的预训练）目前已经转化成了发射火箭问题，只要烧的起、方向对，谁都能做。可以说，训练大模型就是在发射赛博火箭。
一个反常识的事情是，投资人对大模型训练的难度是低估的，而对发射真火箭的难度是高估的。同样是6000万美元的成本，投资人会觉得火箭升空失败还可以有第二次机会，而训练大模型失败则被认为是浪费资金。
GPT-4在OpenAI的GPU利用效率（爆料称约等于30%）上，仍然消耗了6000万美元。这是一个{性能=效率×成本}的问题，而性能是道墙，如果其他的初创公司不能实现大于30%×6000万=1800万美元的性能效果，则用户不如直接用GPT-4。
目前，许多号称训练大模型的公司的融资轮次在100万到500万美元这个区间。也就是说，即使是最大融资额的公司，其弹药量也只足够支持一次发射。而这次发射的GPU利用率即使达到了100%，也很难超过GPT-4。
从这个角度来说，发射火箭是更好做的，因为目前大部分火箭都是运载火箭，带着卫星上天，而单次负载量有限，所以小的火箭公司可以接别人来不及发射的卫星单。
大模型则不同，大模型的横向扩展的边际成本只有算力成本，而算力成本可以是弹性扩张的，也就意味着对于大模型公司来说，每一单的利润都是白捡的利润，几乎不用付出额外成本，承接能力非常大。对于新成立的、质量差的大模型公司来说，很难接到溢出的需求。
除非训练成本大幅度下降，否则即使知道了GPT-4的全部架构，许多公司短期也很难做出可投入市场的大模型。
定制化：直面“赢家通吃”问题
在硬件行业，一种常见的现象是通过定制化需求来实现早期的利润，再通过早期利润实现技术突破（或者追平）。然而大模型行业的定制化很难成为新进者的出路。
关于这个判断，解释起来非常简单：绝大多数微调后的模型追不上GPT-4，即使追上了，直接使用GPT-4泛化的成本更低、人员需求更少、运气需求更少、数据需求更少。只要GPT-4和其他模型的断档级性能差距还存在，定制化就不能成为大模型公司的出路。
一个非常典型的例子是Jasper，使用微调的GPT-3服务企业客户，然而在OpenAI公开了ChatGPT（GPT-3.5）之后，其用户迅速流失。因为Jasper的产出物可以通过为GPT-3.5输入简单的prompt来得到，而无需使用一个泛化能力差和仅限企业内部使用的“落后版本”。
相比于新公司，Jasper至少还有一个GPT-3到GPT-3.5的空窗期用来发展。然而现在的新公司需要同时面对低成本高速度的GPT-3.5和高性能的GPT-4的挤压。
因此，寄希望于通过定制化积累利润从而实现技术突破的路线，生存概率很低。
微调：必要，别迷信
目前的AI行业对微调有一种不合实际的期待，这种期待从具体的技术实现和从宏观的技术节奏来说，都是过于高估的。
行业目前所讨论的微调，绝大多数指“在预训练模型的基础上，使其生成符合人类意图的回答”。这种微调可以称为“对齐”，也就是让回答对齐人类意图，而不是为大模型增智慧。
根据多篇论文的研究结果，大模型的知识应该主要来自预训练，而微调更多用在对齐上。
简单解释就是，预训练决定脑容量，微调决定母语。为预训练模型进行微调，是一个“扫除文盲”的过程。
然而，目前行业中经常将微调视为一种为模型“增智慧”的方法，也就是通过微调提高模型性能、增加模型知识，认为这样就可以抵达“人工智能的圣杯”。这种思路是有些偏颇的。
首先，模型本身的性能并没有提高，只是能更好地对齐人类意图，如果任务的复杂度超过了模型的性能，微调并不能收获如期的结果。就像是让人脑进行量子运算一样，做不到不是教育的问题。
其次，在“意图对齐”的部分进行“知识补充”，效果更类似于“鹦鹉学舌”。即：模型只是模仿专家说话，而并没有理解其中的含义。尽管很多行业用“鹦鹉学舌”已经能得到很好的方案（毕竟大多数行业都不复杂嘛...），但这显然不是我们应当在长期追求的结果。
最后，对于“补充额外数据集，提高模型性能，增加模型知识”的训练，应当被视为模型具有“增量学习/持续学习”的能力，即：模型的全参数可以通过增量数据集进行优化。这和所谓的“指令微调”并非同一个范畴的概念。
总的来说，微调是非常重要的，但对当下的微调报以“迷信”的态度是错误的，特别是急于将当下的微调封为圣杯的言论，颇有一种“如今物理学的大厦上只飘着两朵乌云”的意味。
退一步讲，如果“增智慧”的需求真的可以通过指令微调来解决，做个简单的向量搜索、直接把知识塞上下文里、再简单写几个prompt模板，大概率能有一样甚至更好的效果。
大家都喜欢微调，可能也是炼丹技艺在现代的一种复兴吧...
大模型展望：四则运算
（注意，此部分内容完全基于Dylan Patel爆料的数据，可靠性暂无法验证）
GPT-4的训练基于N卡的A系列，训练效率30%，训练时间大约2个月，成本约6000万，总参数量为{1.7万亿=1100亿×16个专家模型}，处理单个问题的参数在2800亿左右。
也就是说，有几个关键参数，会导致大模型训练的格局发生变化。
•训练效率：从30%提高到60%可以直接缩短一倍时间
•算力密集度提高：从A系列换成H系列再换成AI专用卡后，算力密集度提高，很多架构上影响效率的问题都可以解决
•算力成本下降：老黄（Nvidia创始人）给显卡打折，显著的成本下降
•参数效率提高：模型的参数效率存在提高空间，参考以往新模型对老模型的参数效率通常能提高多倍，可能使用GPT-4的30%的参数就可以达到类似的效果
综上所述，从零训练出GPT-4级别性能的模型的成本可能有10~20倍的优化空间，也就是压缩到300万美元~600万美元，这个成本对于初创公司和大公司费控而言，都是更容易接受的。
而这个变化，可能需要2年左右的时间来完成。
目前，主流大模型的技术仍然基于transformer，基础架构没有变化，炼丹加参数的大力出奇迹思路仍未穷尽。GPT-4的训练在算力限制很大的基础上进行，且训练时间不够长。
如果参数是随训练时间线性增长的，类似于GPT-4的架构的模型的参数上限可能是10万亿左右，即：训练时间多一倍（×2），并行显卡多一倍（×2），训练效率快一半（×1.5），参数效率高一半（×1.5），最终得到十倍的结果。按照硅谷的风险偏好风格，这个参数量大概率会在一年内达到，无关乎性能到底有没有提高。
然而在达到10万亿参数后，LLM是否还能使用增加参数的思路大力出奇迹，就是一件完全未知的事情了。
如果参数量对模型性能的提升是边际递减的，则10万亿很可能是个坎。然而，也有一种猜想是参数量对模型性能的提升是边际递增的，类似于“一个人如果足够聪明则学什么都快”。前者还好，假如后者成真了，模型性能可能会发生指数级提高，届时发生什么将完全无法预测。
预测炼丹很难，但预测企业战略节奏很容易。总参数10万亿的模型对于绝大多数企业，无论是Google/MS/APPL这种巨无霸，还是小一点的OpenAI，都是一个里程碑级别的终点，是可以停一停、做些技术探索的位置。
企业/资本对于风险的偏好可以折算成一个“忍受时间”，如果整个忍受时间都在剧烈燃烧费用，则很难超过6个月。人类的工艺成长速度不够快，通常以5年甚至更长时间为一个周期。因此，在5年内，模型的极限参数量是可以估计出来的，应当是20万亿~50万亿。除非再次发生工艺/架构上的巨大突破，否则，超过这个数量级的概率很低。
多模态：房间里的大象
多模态是房间里的大象，可能会深刻影响到赛道的格局。
多模态的简单定义是：支持对多种模态信息的输入和输出。这个定义很松，比如市面上一些宣称自己能够进行多模态输入的产品，其实是ChatBot外面套了一层OCR。也有完全符合多模态定义的模型，但其性能就让人不敢恭维了。就连GPT-4的图像多模态输入能力也还没有大范围开放，可以看出这个功能并不是很稳定。
不过，多模态的发布并不是一件遥远的事情。GPT-5大概率是原生支持多模态的，也就是需要重新设计结构、重新训练。而根据前文的推理，大模型的参数还有10倍~50倍的成长空间，在其中放入多模态能力，应该是足够的。因此，可以预计，高可用高性能的多模态模型会在2年内出现，乐观点的话，1年差不多了。
多模态是房间里的大象，大家都知道最终会有这样的东西，但很多产品/研究/战略都忽视了其存在，以至于在关键部分存在误判。
例如，单一图像模型理论上会受到多模态模型的严重压迫，但目前大多数研究/投资都忽视了这个问题，导致给一些专注于图像模型的公司过高的估值。这些公司未来很可能会失去技术壁垒、转型成服务商，其估值体系应当参考服务提供商、而不是技术公司。
如果要讲“投资看人，同一个团队可以做业务转型”的故事，就当我没说。传奇总是在的，但做研究不能笃信传奇。
谁能训练GPT-4：都能，但没必要
炼丹不需要那么久，且大公司都在买显卡。一个非常显而易见的事情是，一年后，大型公司都会有能力训练GPT-4级别的模型。不过到底要不要训练，就是另一个问题了。
在游戏领域，有一个经典的命题叫做“有原神玩原神”，即：当玩家可以选择玩原神或者一款原神的竞品时，如果竞品做的不如原神好，则玩原神。
这种“赢家通吃”的思路同样适用于大模型行业。如果一家公司紧随OpenAI之后，经过半年的研发，推出了自己的媲美GPT-4的90%的性能的大模型，希望推向市场。此时，该公司会面临如下问题：
•OpenAI存在云资源的规模优势，成本更低
•OpenAI的API已经在产品代码里大量使用，更换难度大
•该公司的产品性能仍然没有超过GPT-4
•OpenAI的次世代产品（可能是GPT-5）即将发布
可以看出，该公司的压力是相当大的。比起训练GPT-4，还不如直接押注次世代模型（对标GPT-5）。然后问题就会从“同类竞品问题”转换成“技术创新问题”。这是小公司难以承受之重。
因此，讨论“谁能训练GPT-4”是一个战略上的死题，比起思考这个问题，不如找找更有确定性、更有机会的方向。
给AI初创公司的建议：性能为先，避免停留
笔者曾经撰写过多篇文章吐槽langchain，其根本原因是langchain的没给开发者留提高性能的空间。美其名曰“通用性框架”，为了保证通用性，舍弃了很多大模型的性能提高空间，例如多轮对话和微调实现的格式控制。类似的还有guidance/Auto-GPT/BabyAGI等，都想做“能用一辈子的框架”。
一个客观事实是，OpenAI在5月份发布了Function Calling，很多代码中麻烦的地方都有了更好的实现方案，而实现更好方案的代价就是重构产品代码的关键部分。8月份，OpenAI又发布了微调GPT-3.5的权限，很多需要精准控制输出的环节又有了新的潜在方案。
因此，初创公司必须面对一个关键选项：是选择①提高性能、不停重构产品，还是②减少使用新特性、始终使用老特性进行开发？
对于新技术应用的创业，“开发”不仅仅代表着写代码的过程，也代表产品功能/战略方面的“上限”。可以驾驭的性能越高，产品的理论功能越多、战略灵活性越高。
技术的发展无法预测，而微小的技术革新可能带来高度敏感的竞争格局变化，初创公司对技术的发展应当具有反脆弱的能力。
——说人话就是：性能优先，避免停留。开发层面，多用新特性；产品方面，思考新特性能做什么功能；战略方面，考虑到新特性对战略的影响。
《过秦论》中，曾提到秦朝在建立之后收缴了天下的金属兵器，将其铸成了十二个铜人，来消灭民间起义的可能性。但秦朝是出了名的短命王朝。比起无视变化，还是重视变化更有利些。
给AI初创公司的建议：放心做应用
初创公司做应用有一个非常常见的隐患：大公司入场。这里的大公司不仅包括应用巨无霸，例如Meta/字节/腾讯等，也包括AI行业的上游，如OpenAI。
大公司入场的原因通常有两个：布局产品机会，以及上游切下游。
“布局产品机会”是字面含义，大公司觉得这个方向值得做，于是做了。
“上游切下游”多是无奈之举，可能是因为自己研发了对标OpenAI的大模型，但因为大模型赢家通吃的问题，没有用户，导致烧费用、没营收、没数据，进而导致性能逐渐落后。此时，切入下游、开发具体的应用、使用自己的技术，是唯一选项。
根据历史经验，由于组织架构的问题，公司越贴近下游、技术越容易落后，而技术越落后、越不得不做下游。这些所谓的技术公司最后会和应用层公司抢夺同一个生态位。
但是，在应用层的战场里，由于AI技术出现时间很短，并没有行之有效、可复用的规模优势，大公司和初创公司的起点差不多。比起大公司，初创公司的效率高、洞察深，更容易占据优势。
一个值得注意的情况是，MS Azure现在几乎所有宣传材料都是围绕OpenAI展开的，微软这么大的厂子却要完全依靠OpenAI作为自己的台面，从侧面证明初创公司在AI领域有天然优势。
当然，某些云厂商可能无法接受被初创公司牵头，要自己吃掉所有市场。其成本高昂、速度缓慢，并不是近在眼前的威胁。
事实是，确实有一些AI应用的赛道非常短命，但还有很多长命赛道没被发掘出来，AI的应用也并非赢家通吃。从应用延伸到平台或技术，也是更加可行的通路。
因此，我们应该理性看待大公司侵入应用层的能力。我们的建议是，AI初创公司可以放心做应用。
给AI初创公司的建议：注意产品生命线
前文提到，AI初创公司可以放心做应用，但要考虑到AI模型的性能问题，避免停留。这种状况，直接表现为AI产品可能在数个月内失去需求基础、并逐渐凋零，而这种情况可能是频繁发生的。
AI应用需要使用大模型的服务，大模型的性能不断提高。这种提高不是“速度”等单一维度的改善，而是输出质量、输出长度、输出控制性等全方面的改变。每一次技术的显著升级都会导致已有应用层产品的技术落后，并创造出新的机会和竞争对手。
我们将AI应用在战略/产品/技术上保有优势和必要性的时间称为“生命线”。
以下是一些生命线较短的例子：
•当ChatGPT/Claude支持文件上传后，ChatPDF失去必要性
•当Office365支持Copilot后，使用AI画PPT的产品失去优势
•当GPT-3.5出现后，Jasper失去必要性
考虑到AI行业的发展很快，生命线有限是常态。因此，接受生命线有限的事实，并尽量选择生命线较长的方向发展，有利于保持长久的优势和产品必要性。
一般地，可以将生命线简单划分为3/6/12个月的级别。
•3个月：大公司来不及做的功能（如office/ChatGPT还没来得及做的功能）
•6个月：有一定实现难度、无法融入既有方案，但优势/必要性会随AI性能提高而消失（如通用AI框架）
•12个月：优势/必要性能够长期存在，不易被大公司/技术发展影响（如Hugging Face）
*平台类产品的生命周期并不一定长，毕竟prompt商店也是平台
初创公司在确定方向时只要有6个月级别的生命线就可以做了，12个月级别的生命线可遇不可求。
当产品生命线到尽头，一般有两种情况。第一种情况是优势消失，需要重构产品升级技术，请参考上文“性能为先”；第二种情况是必要性消失，产品将逐渐被取代，此时产品仍有数个月的“运营寿命”，足够初创公司选取下一个方向。
给AI初创公司的建议：Web3+AI可以做
目前围绕Web3+AI主题进行创业的项目已有很多，而考虑到技术发展的不确定性和市场的早期性，Web3+AI的话题在未来还有诸多变数。
本文旨在于不确定性中寻找大概率正确的确定性，因此，笔者仍希望抛砖引玉，提出一些可能存在机会的题材和方向，供初创公司和感兴趣的研究者参考。
•去主权化/去中心化
目前，AI行业的领跑者只提供闭源模型，其持续提供服务的稳定性、透明性、中立性均不可控。去主权化/去中心化可能成为AI行业一个重要的题材，即：基于去主权化/去中心化的基本架构，提供稳定、透明、中立的AI服务。
去主权化/去中心化是一种“备选方案”，也是一种“震慑”，能够显著提高中心化/主权化的AI公司的不道德成本，阻止其将AI模型使用在军事、邪教、政治等方面。
而在极端情况中，一旦中心化/主权化AI服务因某些缘故不再可用/可信，去主权化/去中心化AI可持续提供高可用的服务，防止个别国家/地区乃至人类失去AI服务陷入瘫痪状态。
•算力实用化
ETH从PoW转向PoS的背后是遭人诟病的“挖矿不产生价值”的困境，而将Web3与AI结合，可提供算力实用化的场景，从而实现存量算力消化和推动总算力成长等效果。
•虚拟资产化
AI是原生于算力和存储上的资产，Web3与AI的结合可以提供将AI转化为虚拟资产的通道，在实现AI行业的价值实例化的同时，为Web3创造真正的原生虚拟资产。
•Web3应用的变数
Web3与AI的结合可能为Web3应用带来新的功能点和成长机会，现有的Web3应用可以全部重做一遍。
写在最后：9月了，现在的AI还值得创业吗
先说结论：值得，且这个结论大概率可以沿用到过年。
人对状况的感知经常有偏差，笔者也不例外。有人过于乐观，有人过于悲观。笔者曾经与两个团队交流，一个团队认为自己明年Q1就能做出来AI Agent，另一个团队则觉得AI只适合做些知识库管理的工作，显然前者过于乐观，而后者悲观过头了。
在做远景规划时，过于乐观和过于悲观都会掉到坑里，而广泛传播的言论又往往是这些偏差很大的言论，独立思考显得弥足珍贵。因此，不论读者是否能够接受本文的观点，只要读者在阅读过程中产生了独立的思考和判断，笔者就无比欣慰了。
最后，打个广告。如果你有好的AI创业想法，或者已经有成型的项目，欢迎随时与NGC的朋友们（比如我）交流。
We identify projects with disruptive innovation, aiming to solve problems with solutions that are characterized by simplicity, cost affordability, speed, uniqueness, and a compelling product market fit.
