论文题目：ScholarCopilot: Training Large Language Models for Academic Writing with Accurate Citations

论文地址：https://arxiv.org/pdf/2504.00824

创新点

• ScholarCopilot 是一个统一的框架，旨在增强现有的大型语言模型（LLMs），使其能够生成带有准确且相关引用的专业学术文章。

• ScholarCopilot 在一个统一的框架内联合优化文本生成和引用检索任务，通过对比学习优化检索标记的表示，从而提高检索效率和准确性。具体而言，模型通过最大化生成文本的对数似然（Next Token Prediction Loss）和最小化检索标记与相关引用之间的对比损失（Contrastive Loss）来联合训练生成和检索任务。这种联合优化方法不仅提高了引用检索的准确性，还保持了生成文本的质量。

方法

本文提出了一种名为 ScholarCopilot 的新型学术写作辅助框架，旨在通过动态检索与生成的无缝集成，增强现有的大型语言模型（LLMs），使其能够生成带有准确且相关引用的专业学术文章。ScholarCopilot 通过动态生成特殊的检索标记 [RET] 来触发检索，并将检索到的参考文献内容直接整合到后续的生成步骤中。这种方法克服了传统检索增强型生成（Retrieval-Augmented Generation, RAG）系统中检索和生成分离的局限性，使得检索决策能够根据生成过程中的上下文动态调整。例如，在生成论文引言时提到 GPT-4 时，ScholarCopilot 能够即时检索与 GPT-4 相关的参考文献，而传统方法则无法根据具体生成上下文灵活调整检索决策。

传统检索增强型生成系统与 ScholarCopilot 的对比

本图对比了传统的检索增强型生成（RAG）系统和本文提出的 ScholarCopilot 框架。传统的 RAG 系统（左侧）采用先检索后生成的固定流程，检索和生成是独立进行的，导致上下文信息的不一致。而 ScholarCopilot（右侧）通过在生成过程中动态生成检索标记 [RET]，实现了检索和生成的无缝集成。当生成 [RET] 时，模型会暂停生成过程，检索相关的学术文献，并将检索到的内容直接整合到后续的生成步骤中。这种动态检索机制使得模型能够根据当前生成的上下文信息灵活调整检索决策，从而提高引用的准确性和生成内容的连贯性。

传统检索增强型生成方法与 ScholarCopilot 的对比

本图进一步详细对比了传统 RAG 方法和 ScholarCopilot 的工作流程。传统 RAG 方法（左侧）遵循一个静态的检索-生成流程，即在生成之前独立进行检索，检索决策是预先确定的，无法根据生成过程中的上下文动态调整。这导致了检索意图与生成上下文之间的不一致。而 ScholarCopilot（右侧）通过动态生成检索标记 [RET]，在生成过程中实时触发检索，使得检索决策能够基于当前生成的上下文信息进行调整。这种动态检索机制不仅提高了引用的准确性，还增强了生成内容的连贯性和学术严谨性。

ScholarCopilot 的统一训练框架

本图展示了 ScholarCopilot 的统一训练框架。该框架联合优化了两个目标：文本生成的下一个标记预测损失（Next Token Prediction Loss）和引用检索的对比损失（Contrastive Loss）。具体而言，模型通过最大化生成文本的对数似然来优化文本生成任务，同时通过对比学习优化检索标记 [RET] 的表示，使得检索标记与相关引用之间的相似度更高，与不相关引用的相似度更低。这种联合优化方法不仅提高了引用检索的准确性，还保持了生成文本的质量。图中还展示了正样本对 <q, d+> 和负样本对 <q, d-> 的对比学习过程，其中正样本对表示查询和相关引用，负样本对表示查询和不相关引用。生成模型和检索模型共享参数，确保了检索标记的表示能够有效地支持生成任务。

实验

本表展示了不同模型在学术写作任务中的生成质量评估结果。该表格的核心目的是通过量化指标来评估不同模型在生成学术文本时的表现，特别是在引用准确性、内容相关性、逻辑连贯性、学术严谨性、信息完整性和创新性等方面的表现。这些指标综合反映了模型在学术写作中的整体性能。从表格中的数值可以看出，ScholarCopilot 在所有评估维度上均表现优异，特别是在 Relevance 和 Coherence 方面，其得分分别为 3.63 和 3.66，显著高于其他基线模型。这表明 ScholarCopilot 能够生成与学术主题高度相关的文本，并且在逻辑连贯性方面表现出色。综上所述，本表通过详细的量化评估，清晰地展示了 ScholarCopilot 在学术写作任务中的优势。它不仅在内容相关性、逻辑连贯性和学术严谨性方面表现出色，还在引用准确性和信息完整性方面优于其他基线模型。这些结果证明了 ScholarCopilot 在生成高质量学术文本方面的有效性，特别是在引用准确性和学术规范性方面。