一位做行业研究的朋友给我看他的稿子:47 条引用,每一条后面都跟着来源。

他当时的做法是,交稿前一晚,把 47 个链接挨个点开,凭印象确认"大概是这句"。

这个流程的问题不在于慢,在于它不可靠。

凭印象核对,等于没核对

人对自己的记忆有一种奇怪的自信。你觉得"这句我肯定见过",往往是因为它符合你的预期,而不是因为你真的在原文里读到过。

47 条里错三条,审稿人正好点到那三条,整篇的可信度就没了。而他没法保证自己每次都点得准。

我们试过让 AI 来判断

第一版是让模型读原文、读你的引用,判断"是否支持"。

效果不好。不是不准,是不稳定:同一段话,问两次给两个答案;换成更长的原文,它开始漏读;原文是 PDF 扫描件,它干脆编一段出来。

只要它有一次说"支持"而其实不支持,这个功能就等于没有。

后来换了个思路

把问题拆开:

  • 定位——这段引用来自原文的哪里?交给规则算:字符串匹配、上下文窗口、段落偏移。算不出来就明说算不出来。
  • 判断——这段原文支持不支持你的结论?这个交给 AI,但只在定位成功之后,而且必须把原文片段一起摆出来。

于是每条意见变成这样一句话:

第 3 段第 2 句:"显著提升"。原文(第 12 页第 4 段)写的是"有所改善"。此处措辞超出原文。

点一下,跳回那一页那一段。

结果是 47 条里 9 条有问题

其中 6 条是措辞比原文满,2 条是原文里找不到对应句子,1 条引错了段落。

没有一条是"AI 觉得你写得不对"。它只报能指出位置的问题。

这是他后来跟我说的一句话:我不需要它替我判断对错,我需要它告诉我哪一句该回去看一眼。