这两天在整理 AI 成本相关的资料时,翻到一个发在 Reddit 上的帖子。
标题写着“OpenClaw 项目一个月烧掉 3.2 万美元,非编码用户可能才是大头”。
我当时的第一反应是——3.2 万美元?这相当于一个小公司一个季度的云成本了,确定不是后台出了 bug?
赶紧点进去看。
发帖人说,这 3.2 万美元全是 API 调用费,而且怀疑花在角色扮演和创意写作上的 token,比正经写代码还多。
这就有点意思了。
一直以来,我们都觉得 AI 是生产力工具,成本主要是企业和开发者承担的。
但如果 C 端娱乐用户才是 token 消耗的大头,那整个行业的成本结构,可能和我们想的不一样。
我把这个帖子存下来,顺着它扒了一圈数据,越看越觉得——AI 代理的成本问题,比我想象的严重,但也可能藏着一点副业机会。
为了搞清楚 3.2 万美元是不是个例,我找到了最近 SaaStr 上的一个分享。
OpenRouter 的 COO 说了一组数据:他们平台上 Agent 的 token 消耗量,已经正式超过了人类用户。
而且这个趋势还在加速——最近三个月,Agent 的 token 消耗增长了 3 倍,而人类用户的增长只有 30%。
这就解释了为什么有些项目的 API 账单,会突然高得离谱。
像咱们自己写代码用 Copilot,可能一天几百条提示,成本几块钱。
但一个 Agent 要是跑起来,它会自己制定多步计划、反复调工具、把整个代码仓库塞进上下文,再重试好几次——每一步都在烧 token。
成本翻着跟头往上涨。
根据 a16z 去年的 State of AI 报告,推理模型的使用量已经占了 API 调用的一半,而推理模型比普通 chat 模型贵好几倍。
也就是说,Agent 的底层引擎,正在变成最贵的那个版本。
这就是为什么有些团队拿到 API 账单时,会怀疑自己被薅羊毛了。
钱到底烧在哪儿了?
我查了一些技术博客,发现 Agent 费 token 主要卡在三个地方。
第一是“上下文膨胀”。Agent 为了保持记忆,会把历史对话全部保留,越聊越长,每次处理都要重新计算。
第二是“工具调用过度”。Agent 有时候会像个焦虑的新手,明明爬一个网页就能拿到数据,它非要调三次 API,甚至把整个项目文件都读一遍。
第三是“失败重试”。Agent 计划了十步,执行到第八步失败了,然后它可能会从头再来,而开发者往往没设好重试上限。
有专家打了个比方:Agent 就像给实习生一张无限额信用卡,还告诉他“放心试,做错了再来”。
这能不烧钱吗?
了解到这里,我开始想第二个问题:那些烧了的钱,到底是谁烧的?
Reddit 那个帖子给了我一个线索——非编码用户可能才是大户。
我顺着这个线索去查,还真找到一些证据。
OpenRouter 的 COO 提到,他们平台上 token 消耗前十的 App 里,有好几个是游戏、角色扮演和创意写作类应用。
这让我想起前段时间,一个叫 Character.AI 的创业公司被爆出烧钱过快,其中很大一部分就是推理成本。
也就是说,我们写代码的还在纠结 3.5 和 4.1 哪个便宜,人家 C 端用户已经开着“手电筒模式”拼命烧了。
这其实是个很重要的信号。
它意味着,AI 应用的商业模式,可能要从“按次收费”转向“按成本优化”才能活下来。
如果 AI 产品的利润本来就薄,再被 Agent 成本吃掉大半,那还怎么玩?
所以,降成本这件事,就不再只是大厂的基建问题,而可能是普通开发者、小团队,甚至个人副业者的机会。
这堆成本里面,有没有咱们的机会?
我搜了一堆关于 AI 成本优化的工具和方案,发现主要就三类。
第一种是“成本观测平台”,比如 Coralogix、Galileo 这些,它们能帮你实时监控 API 调用,标记异常消耗。
第二种是“模型路由优化”,就是根据任务复杂度,自动选择最便宜的模型。比如简单问题用小模型,复杂问题才上大模型。
第三种是“缓存和压缩”,把重复的请求缓存起来,或者把长上下文压缩后再发给模型。
目前这些工具主要卖给企业,月费从几百到几千美元不等。
普通人能不能切入呢?
坦率地讲,我研究完一圈,觉得直接做 toB 工具门槛挺高的。
你需要懂大模型原理,有 DevOps 经验,还要有销售能力。
但有一种模式,可能适合咱们这种程序员副业尝试——那就是“AI 成本审计服务”。
现在很多小团队开始用 AI 做产品,但对成本根本没概念。
你帮他们审查一下代码,调整一下 prompt 设计,加个缓存或路由,可能就能帮他们省下 30%-50% 的 API 费用。
这种活不需要完整的产品,更像是一种轻量咨询。
收费可以按节省金额提成,或者按小时收。
我在 Upwork 和 Fiverr 上搜了搜,已经有一些人提供“AI API cost optimization”服务了,虽然量不大,但评价都还行。
当然,这钱赚得不容易。
你要能快速看懂别人的代码和 prompt,要熟悉多个模型的定价,还得会跟客户沟通。
而且最大的风险是:如果 OpenAI 或者微软哪天推出一个一键优化按钮,你这门生意可能瞬间归零。
所以,你要是想试,我建议先拿自己的项目练手。
比如你用 OpenRouter 跑一个 Agent,故意让它多调几次工具,然后试着用路由、缓存优化,看能省多少钱。
如果你能写出一个优化前后的对比案例,那你就有了一个活广告。
如果优化效果很明显,你再考虑接小单。
但如果你调了半天省不了 20%,而且发现自己解释不清楚技术原理,那就先收手,别硬往外卖。
说实话,我自己还没达到这个水平,主要是没时间,也暂时没有现成的客户可以练手。
但我已经把这个方向加入了观察列表——不是因为它马上能赚钱,而是因为它可能是个长期趋势。
随着 Agent 越来越普及,成本优化可能会像云成本优化一样,成为一种常规服务。
到那个时候,先入场的人会有信息差优势。
最后说句实话,这篇文章写得我有点纠结。
一方面是数据让我兴奋,觉得 AI 背后还有这么多没被挖掘的机会。
另一方面,我又怕把什么东西夸大了,让本来就焦虑的兄弟又盲目入场。
所以,我最后再明确一下:这件事目前还是一个“早期信号”,不是成熟的副业赛道。
适合谁尝试?
-
你有 DevOps 或后端开发背景,对 API 调用和云成本有概念。
-
你手头有小项目在跑,可以立刻开始实验。
-
你能接受可能一分钱赚不到,只当成学习投资。 不适合谁?
-
你指望马上月入过万,那还是先看看别处。
-
你没有技术背景,也不想花时间学技术,那很难做。 最后,我给自己定的观察指标是:
- OpenRouter 下一季度的 Agent token 占比,看是不是继续涨。
- 是否有新的开源监控工具出现(比如类似 Prometheus 但针对 LLM 的)。
- 各大模型 API 的价格走势,如果持续下降,那优化价值会打折。 只要这三个信号都正向,我就准备花一晚时间,跑通一个优化案例。
好了,今天就聊到这儿。
我是老花,一个跌过坑、还在小公司打工维生的十年老程序员。这里不教成功,只记录我追过的信号、踩过的坑,和我拆出来的一点路。
以上。
既然看到这里了,觉得有点用的话,点个赞或者转发一下,让更多朋友看到。
我们下次再聊。
老花 / Easton Hua