AI大模型刚刚兴起的时候,不少专利代理师觉得专利检索的工作马上就要被AI取代了,尤其是无效证据检索。因为专利文本实在太符合大模型对训练样本的要求了——结构化、电子化程度高,虽然语句和用词有点奇怪,但是相信大模型能很快消化吸收。无效证据检索有着明确的检索目标,也非常适合大模型准确锁定目标。
结果一用之下才发现——"就这"?
一、骨感的现实:完全依赖大模型并不现实
2025年3月,哥伦比亚大学发表了一篇题为《AI检索存在引用问题》(AI
Search Has A Citation
Problem)的文章[1]。哥伦比亚大学的作者团队从20个出版商处每家随机抽取10篇已在网络上发表的文章,并从中摘录一段内容,以此构建了200个待检索目标。
将检索目标及预设的提示词分别输入到八个大模型中,要求其反馈:文章名称、出版商和URL,并测试不同大模型的检索效果。
选定的八个大模型基本可以代表全球范围内AIGC的顶尖"战力"了,包括:
OpenAI's ChatGPT Search
Perplexity
Perplexity Pro
DeepSeek Search
Microsoft's Copilot
xAI's Grok-2
Grok-3 (beta)
Google's Gemini
但结果却非常不理想,大部分大模型在"自信"地做出错误的回答,要知道作者团队选择的目标文章都是已在网络上发表的文章,并且经过事后验证,参与测试的大模型基本都无视了robots协议爬取了出版商的网页信息。