作者
王浩辰
文章摘要
高质量训练数据是多模态大模型发展的关键瓶颈,而多模态双工问答等开放式标注任务对传统质量控制范式提出新挑战——评估具有强主观性、难以依赖量化指标。现有文献多聚焦于MTurk低成本众包或专家标注两种极化方案,对“校企合作—学生兼职”中间模式缺乏系统讨论。本文基于一项某为期15天、约150名学生兼职完成1000条多模态双工问答项目,提炼出适配开放式标注任务的“校企合作实践方法”,涵盖标注过程、人员管理、质量估计与改进等核心维度。研究表明,校企合作模式在伦理合规与质量上限上优于一般众包,在成本与培训弹性上优于纯专家标注,可作为面向高难度开放式标注任务的“第三条道路”。
文章关键词
数据标注;开放式众包;质量控制;多模态双工问答;校企合作;项目管理
参考文献
[1] 燕江依等.信息通信技术与政策,2025,51(8):26-34.
[2] Chai L,et al.Quality Control in Open-Ended Crowdsourcing:A Survey.arXiv:2412.03991,2024.
[3] Ahmadzadeh A,et al.A Guide for Manual Annotation of Scientific Imagery.arXiv:2508.14801,2025.
[4] Roit P,et al.Controlled Crowdsourcing for High-Quality QA-SRL Annotation.ACL 2020.
[5] Klie J C,et al.Analyzing Dataset Annotation Quality Management in the Wild.CL,2024,50(3).
[6] Braun T,et al.Understanding the Process of Data Labeling in Cybersecurity.SAC 2024.
Full Text:
DOI