发展趋势量子位5/10

Claude Code之父:Harness保质期只有半年,解开缰绳吧

By 程浅

Claude Code之父:Harness保质期只有半年,解开缰绳吧
图源:量子位

AI 摘要

Claude code之父:大模型是有机生物,做好AI产品疏胜于堵

原文正文

Claude Code之父:Harness保质期只有半年,解开缰绳吧

Claude code之父:大模型是有机生物,做好AI产品疏胜于堵

程浅 发自 凹非寺

量子位 | 公众号 QbitAI

每六个月,删掉你的Claude.md,删掉你的skills,删掉你的hooks。

这是Boris Cherny——Claude Code之父给产品使用者们的建议。

在YC7月28日新发布的访谈视频《Boris Cherny: We Cut 80% of Claude Code’s Prompt》中,Boris热情呼吁所有做AI产品的人都应该对自己的新产品勇敢按下删除键,大刀阔斧地去删除系统的提示词、工具、harness代码。

△Boris Cherny最新访谈截图

“你应该把整个系统提示词全删掉,然后一行一行加回来,看看每一行到底有什么影响。”

这个观点背后的概念是消融实验(ablation study),该概念贯穿了Boris Cherny的最新访谈,旨在控制其他条件不变的前提下,移除、替换或关闭一个模块,去比较性能、稳定性、效率或成本的变化。

访谈中Boris无不自豪地声称:实际上对于Opus 5,我们真心建议大家试试把这些东西全删掉,因为模型已经不需要了。

尽管最近的风波……用户也可以声称,“实际上对于Claude,真心建议把它删掉,因为我们已经不需要了。”(x)

除了“大胆删除”,Boris在访谈中还透露了更多关于自己对产品设计、模型使用和编程学习的价值性思考——

本文观点出自访谈视频,阅读重点如下:

1、Boris的产品迭代策略:少一点预判,多去做测试

2、“产品悬余”:同一时期内,模型能力总会超出产品边界

3、“解缚”:让模型做更难的任务,独立工作更长的时间

4、顶尖Claude用户是如何使用AI的?

5、给编程学习者的3个建议

“模型是一种活体生物,它有自己的性格”

“今天Claude Code harness 里的代码,几乎只剩下安全、权限和静态分析的部分。”

7月24日,Anthropic发布了关于 Claude 5上下文工程的最新规则,其中针对Opus 5、Fable 5等新模型,Claude Code的system prompt被大幅精简,删除了超过 80% 的原有指令。

具体可以参考量子位文章《Claude Code狂删80%提示词,Opus 5反手加回去了》。

针对此次变化,Boris在访谈中分享了自己的产品迭代策略:你不要去猜模型需要什么指令,因为你根本猜不对。你能做的就是一行行去删除,去测试,然后找到模型反复卡住的地方。

“你得把模型想成一个活的生物,一种更有机的东西。每一代模型的行为都不一样,性格都略有不同,你得花时间去了解它,然后据此调整harness。”

△该图片系AI合成

因此这对于Boris而言是更偏向“经验性”的,需要用科学的予以对待:不加预判地尝试,查看结果,迭代,重复。

而在这样一个不断推倒重来的世界里,Eval也未必能稳定使用。尽管它确实比harness和prompt耐用,但眼下模型进化太快,很多时候一套评测会被很快刷到满分。因此需要观察模型到底在哪不断挣扎,然后设计新的Eval。

一种思维:悬余、解缚

访谈中,Boris分享了一个概念叫“Product Overhang”,他认为这是一个对他做产品很有帮助的思考方式。

Overhang,什么意思?悬余。

大模型以不连续的跳跃式速度跃迁,而产品集成却以连续的增量式节奏推进。这导致模型所具备的能力总会超出现有产品所能释放出的边界。

Boris举了一个例子:2024年底sonnet 3.5刚推出的时候,这个模型就已经能一次性写整个文件的代码了。但当时的编程产品Copilot、Cursor早期版还在做补全代码这样的小事。

拥有完整终端权限的Claude Code一定程度上弥补了这种差距。这也是Boris提出的第二个概念“Unhobbling”,解缚,拿掉限制。

△给大模型解缚(图片系AI生成)

他分享了Anthropic内部的案例:有人尝试给Opus 5接入OpenCV(全球最大开源计算机视觉库),结果发现模型能自己画出人物肖像、动物风景,而在此前他们从未训练过模型去画画。

这就是“模型激发”(model elicitation),在不改变模型权重的前提下,通过提示词、上下文、工具或产品形态的设计,让模型表现出它本已具备、但此前未被调用的能力。

尽管这里或许还存在着疑问:如何归因?究竟是模型被激发出了原本就具备的能力,还是模型因为“脚手架”设计而学会了新的技能?

不过这或许并不重要,不管怎样,Boris毫不怀疑此间存有巨大的商业机会:

我不是说所有创业公司都能抓住。但我知道有人在思考这些问题,这里真的有巨大的机会,能从模型身上激发出那些令人惊叹、有趣、而且有商业价值的行为。

阅读原文
Claude Code之父:Harness保质期只有半年,解开缰绳吧 · AI Daily