在2025年的科技舞台上,一项由中国人民大学高瓴人工智能学院窦志成教授团队携手百川智能科技公司共同推出的创新研究引起了广泛关注。该研究针对企业级深度搜索的需求,提出了一种全新的解决方案,并已在权威平台上发布,感兴趣的研究者和从业者可通过访问(论文代码库链接已移除)获取详尽的论文资料。
现代职场中,面对复杂多变的问题,工作者往往需要穿梭于公司内部的丰富资源与互联网的广阔信息之间。例如,金融分析师在评估企业投资风险时,既要参考公司内部的深度数据库,又要浏览网上的最新报道和市场分析。然而,现有的AI搜索工具如同局限在单一图书馆的管理员,难以同时驾驭这两种信息源,给出全面而精准的答案。
针对这一痛点,中国人民大学的研究团队携手合作伙伴,开发了一款名为HierSearch的系统。该系统模拟了一个专业的信息收集团队,由三位“成员”构成:一位专注于公司内部资料的本地搜索专家,一位精通网络搜索的网络搜索专家,以及一位负责整体调度的规划者。当用户提出需求时,规划者会根据问题的特性,灵活调配专家资源,或是让两位专家协同作战,最终汇总信息,给出最佳解答。
HierSearch的核心优势在于其分工合作的设计理念。传统搜索系统往往试图集所有功能于一身,结果却往往顾此失彼,特别是在网络搜索这一复杂任务上,表现尤为欠佳。这好比学生在考试中先做简单题,而将难题留到最后,导致整体成绩不佳。相比之下,HierSearch的分层架构让每个专家都能在自己的领域内发挥最大效能。
为了训练这一高效的AI团队,研究人员采用了分层强化学习的方法。这一过程类似于培养一个专业团队:先分别训练两位搜索专家,让他们各自掌握内部资料检索和网络信息搜集的技能。随后,再训练规划者,使其学会如何高效调度两位专家,以及整合他们的搜索结果。这种分而治之的训练策略,显著提高了系统的整体性能。
然而,在实际应用中,专家们搜集的信息往往夹杂着大量无关甚至错误的内容。为了应对这一挑战,研究人员设计了一个知识精炼器,作为团队的信息筛选员。这一组件会对两位专家带回的信息进行细致审查,首先筛选出直接支持问题解答的关键证据,再从全局角度进行二次筛选,确保最终提交给规划者的信息都是最有价值的。
HierSearch的工作流程宛如一个高效的咨询团队处理客户委托。项目经理(即规划者)首先分析问题性质,然后决定是由内部资料专家单独处理,还是由网络调研专家单独行动,或是让两位专家协同工作。专家们各自利用专业工具和资源进行搜索后,信息筛选员会对他们的发现进行质量控制,剔除无关和错误信息。最终,项目经理综合所有高质量信息,为客户提供满意的答案。
研究团队在多个领域的数据集上对HierSearch进行了测试,包括通用领域、金融领域和医学领域。结果显示,这一分层系统在所有测试中均显著优于传统方法。更重要的是,HierSearch不仅答案质量更高,搜索效率也更为出色,有效避免了传统系统常见的无效搜索问题。
尤为分层训练方法相较于传统的扁平化训练方法展现出了显著的优越性。传统方法要求系统同时掌握所有搜索工具,结果往往学习效率低下,且倾向于使用容易出结果的工具。而分层方法让每个专家都能在自己的领域内深耕细作,再通过规划者进行协调,实现了整体效能的显著提升。
在实际应用效果的分析中,研究团队发现HierSearch在多知识源环境中的搜索成功率和推理成功率均远高于现有方法。该系统能够充分利用本地知识源的专业性和针对性,以及网络知识源的全面性和及时性,在不同类型的问题上都能提供高质量的答案。
从效率角度来看,尽管HierSearch采用了三个智能体的分层架构,但其计算成本并未显著增加。相比那些需要并行搜索多个知识源的传统方法,HierSearch通过智能的任务分配和信息筛选,实际上减少了不必要的搜索操作,特别是成本较高的网络搜索。
这项研究不仅是一项技术创新,更为企业级AI应用提供了一个切实可行的解决方案。在现实的企业环境中,员工确实需要同时利用内部知识和外部信息来解决复杂问题。HierSearch的出现,为这一需求提供了一个高效的技术路径,让AI助手能够像人类专家团队一样协同工作,为用户提供更全面、更准确的信息支持。
Q&A环节:
Q1:HierSearch系统的工作原理是什么?它与普通搜索工具有何不同?
A:HierSearch由一个本地搜索专家、一个网络搜索专家和一个规划者组成。当用户提出需求时,规划者会根据问题性质决定由哪位专家进行搜索,或让两位专家协同工作。系统还配备了一个信息筛选员来过滤无关和错误信息。这种分工协作的方式使HierSearch比普通搜索工具更全面、更准确。
Q2:分层强化学习训练方法相比传统方法有何优势?
A:分层训练让每个专家都能在自己的领域内精通技能,再通过规划者进行协调,就像音乐家各自练好自己的乐器,再通过指挥家协调整个乐团。研究发现,传统方法往往偏向于简单任务,而在网络搜索等困难任务上表现不佳。分层方法则显著提升了整体效果。
Q3:哪些企业适合使用HierSearch系统?其效果如何?
A:HierSearch特别适合需要同时利用内部资料和外部信息的企业,如金融、医疗、咨询等行业。测试显示,该系统在多个领域的数据集上都显著优于现有方法,不仅答案质量更高,搜索效率也更好,能有效减少无效搜索,降低人工成本。