AI参与论文同行评议，又一项工作可以“托管”了？
2024-05-21 15:22 阅读量：5277
来源：凤凰财经周刊 会员投稿
自ChatGPT等生成式AI工具正式投入实际应用以来，针对论文写作过程中AI工具的使用引起了学术界广泛的关注，目前国内外的相关监管政策及使用指南也已陆续发布。除论文写作以外，今年发表的一项研究发现AI工具还参与了学术发表过程的其它环节：在ChatGPT发布后，研究者们可能开始将其用于辅助论文的同行评议工作。
大规模监控人工智能修改内容：ChatGPT对AI会议同行评议影响的案例研究研究选取了四场人工智能主题会议论文的同行评议案例，通过识别分析其中使用的形容词及副词的频率特征，发现案例中有6.5%到16.9%的评审报告可能经过了大语言模型（LLMs）的大幅修改。例如下图为同一会议在2020年至2024年间评审报告中形容词频率的趋势，可以明显看出在ChatGPT发布后，某些词语出现频率大幅增加，其中多为具有积极含义的词语。
如图所示，“值得称赞的”（commendable）、“细致的”（meticulous）和“复杂的”（intricate）等形容词在句子中出现的概率分别增加了9.8、34.7和11.2倍。基于这一发现，研究人员进一步分析被认为可能有AI工具参与修改的同行评议报告后得到了以下结果[1]：
1. 主要结论：约10.6%的ICLR 2024会议的评审报告和16.9%的EMNLP会议评审报告中的语句被ChatGPT进行了实质性修改；无明显证据表明Nature的评审报告中存在ChatGPT修改特征。
2. 截止日期相关：在距离评审截止日期的3天内，可能使用ChatGPT生成的报告数量显著上升。
3. 参考内容相关：缺乏对论文具体内容的反馈或引用的评审报告更可能是经人工智能修改或生成的内容。
4. 较低的回复率：不回应论文作者驳斥的审稿人显示出更高的ChatGPT使用概率。
5. 报告内容同质化：AI修改可能性很高的评审报告在文本上趋近同质化。
6. 低置信度：评审专家对自己报告中的判断自信的程度、对论文所属领域的熟悉程度、对论文细节等审查的细致程度与评审报告的置信度正相关；与ChatGPT参与修改评审报告的概率负相关。受研究存在的局限性影响，研究人员强调他们的研究结果不支持直接证明审稿人会完全使用ChatGPT生成论文评审报告，而是更倾向于认为可能是AI工具基于审稿人列出的评审内容要点生成最终报告。同时研究人员并未就在论文评审过程中使用AI工具这一行为的好坏做出评价，但是出于对透明度和问责制的角度考虑，“估计最终文本中有多少可能由AI生成或修改是很重要的”。Laurie A. Schintler等人则从社会、文化和社会认知的角度对AI在学术同行评议中的表现提出了质疑。例如它容易出现错误、偏见和歧视性结果，存在安全隐患，容易受利益影响以及缺乏透明度和开放性[2]。
对人工智能介入同行评议伦理的批判性审视
然而值得肯定的是，AI工具在特定情况下通过算法对信息的创建、处理和分析相比人工处理更有成效。基于这些人工智能技术特有的优势，目前国内对AI辅助同行评议技术提出了“AI辅助投稿审查”、“审稿人智能推荐”和“学术影响力预测”三类应用方向[3][4]：
AI辅助同行评议：投稿审查
投稿审查主要涵盖了结构合理性审查、统计数据审查以及学术不端检测等工作。结构合理性审查属于目标明确、逻辑关系清晰的任务，可由AI程序来执行及优化。AI还可使用文本挖掘方法挖掘论文中的统计检验数据，并据此验证统计数据的完备性和一致性。学术不端智能检测功能则更是开发与应用得最早、最普遍，以及相对发展成熟的领域。为了应对新型学术不端行为，万方数据作为起步较早的检测工具供应商，也在2023年9月20日正式对外发布了科研诚信多维度综合察验的工具-万方文察。
AI辅助同行评议：审稿人智能推荐
通过AI推荐算法在特定数据库中筛选出最佳审稿人。相较于人工审稿人指派，智能审稿人推荐与指派能够更有效、更充分地利用所有符合约束条件的评议专家资源，同时也能够更为精准地进行专家回避等，有效缓解评审专家超负荷评审问题 。
AI辅助同行评议：学术影响力预测
论文学术影响力评估与预测是评价学者、机构、期刊、国家等学术实体影响力的基础工作，因此对其进行有效预测是同行评议的重中之重。但目前国内外对高影响力论文的界定并无统一标准，多使用论文的间接指标，如被引频次，替代论文本身的学术影响力。因此学术影响力预测也成为目前AI辅助同行评议最难以取代人工的部分，但无疑这是未来AI辅助同行评议最具价值和发展前景的领域和方向。
正如Laurie A. Schintler在自己的文章中强调“人工智能驱动的同行评议的合法性取决其于与科学精神的一致性，包括定义学术界适当行为的道德和认知规范。”论文同行评议工作依然需要“人的主体性”作为最基础的保障，人类应致力于在认知能力上取得与科技相匹配的进步，让AI工具成为人工评议的“助手”而不是“替身”。
内容来源于：公众号（科研与诚信）
郑重声明：此文内容为本网站转载企业宣传资讯，目的在于传播更多信息，与本站立场无关。仅供读者参考，并请自行核实相关内容。
