本规范由CCL2022-CLTC技术评测组织方提供,列出评测报告中需要包含的各个章节,供参赛队伍作为撰写评测报告时的模板。本规范并非强制性的,而是推荐性的,参赛者不需严格按照本规范进行撰写。

摘要

使用简短的几句话描述文章内容。

引言

  • 参赛任务是什么?为什么这一任务是重要的?(1段)
  • 参赛系统使用了什么方法?(1段)
  • 参赛队伍在参与任务时有什么发现?展示定性和定量的实验结果,并分析现在的参赛系统有何种优势和缺陷。(1段)
  • 代码开源链接

背景

  • 使用自己的语言,总结参赛任务的设置情况,例如输入和输出(可以给出例子);简介评测数据集情况。
  • 引用和本任务相关的工作,帮助读者了解参赛队伍的贡献以及相比于此前工作的创新点。

系统

  • 描述系统中的关键算法和建模策略;参赛时使用的额外开源资源;任务的挑战性以及系统如何解决这些问题。
  • 可以使用公式和伪代码便于读者理解系统算法。如果使用的是广泛流行的模型/算法,如逻辑回归、LSTM或随机梯度下降,仅需引用相关论文,无需详细说明所有细节。
  • 可以通过例子,具体描述系统算法的各个阶段。
  • 本节为技术报告中的关键章节,可以占用较多篇幅。

实验

  • 描述总体结果:根据官方指标,参赛系统在任务中的表现如何?它在排行榜中排名如何?
  • 定量分析:描述实验使用的超参数,展示消融实验结果或不同设置下的比较,以更好地说明参赛系统为什么有效。说明实验使用的数据情况。如果在正式提交后对参赛系统进行了修改,请明确指出哪些结果来自修改后的系统。
  • 错误分析:查看一些系统预测结果,并对系统所犯的错误进行分析。

总结

使用简短的几句话,总结参赛系统的算法、结果,以及关于未来工作的想法。