一位做行业研究的朋友给我看他的稿子:47 条引用,每一条后面都跟着来源。
他当时的做法是,交稿前一晚,把 47 个链接挨个点开,凭印象确认"大概是这句"。
这个流程的问题不在于慢,在于它不可靠。
凭印象核对,等于没核对
人对自己的记忆有一种奇怪的自信。你觉得"这句我肯定见过",往往是因为它符合你的预期,而不是因为你真的在原文里读到过。
47 条里错三条,审稿人正好点到那三条,整篇的可信度就没了。而他没法保证自己每次都点得准。
我们试过让 AI 来判断
第一版是让模型读原文、读你的引用,判断"是否支持"。
效果不好。不是不准,是不稳定:同一段话,问两次给两个答案;换成更长的原文,它开始漏读;原文是 PDF 扫描件,它干脆编一段出来。
只要它有一次说"支持"而其实不支持,这个功能就等于没有。
后来换了个思路
把问题拆开:
- 定位——这段引用来自原文的哪里?交给规则算:字符串匹配、上下文窗口、段落偏移。算不出来就明说算不出来。
- 判断——这段原文支持不支持你的结论?这个交给 AI,但只在定位成功之后,而且必须把原文片段一起摆出来。
于是每条意见变成这样一句话:
第 3 段第 2 句:"显著提升"。原文(第 12 页第 4 段)写的是"有所改善"。此处措辞超出原文。
点一下,跳回那一页那一段。
结果是 47 条里 9 条有问题
其中 6 条是措辞比原文满,2 条是原文里找不到对应句子,1 条引错了段落。
没有一条是"AI 觉得你写得不对"。它只报能指出位置的问题。
这是他后来跟我说的一句话:我不需要它替我判断对错,我需要它告诉我哪一句该回去看一眼。