排行榜

排名说明

  1. 参赛排名截止日期:2023年10月10日;
  2. 排名指标采用CIDEr;
  3. 提交多次结果的队伍,只保留一个最好结果参评;
  4. 每个语种评选3个获奖队伍。
名次队名成员单位CIDEr
1民族进步队王浩宇大连民族大学队0.954
2NLP distance李林翰北京理工大学0.821
3臧梦维李保利博知科技(北京)有限公司0.657
蒙语图像描述排行榜
名次队名成员单位CIDEr
1QHNU pattern recoginition周子琦,才让当知,贡宝杰步青海师范大学1.341
2NLP distance李林翰北京理工大学1.275
3青队魏义超,戴湘烟,刘涵啸,马香菲,才让卓嘎,东智才让青海师范大学1.022
藏语图像描述排行榜
名次队名成员单位CIDEr
1NLP distance李林翰北京理工大学0.811
2民族进步队王浩宇大连民族大学队0.731
3臧梦维李保利博知科技(北京)有限公司0.488
维语图像描述排行榜

评价标准

目前的图像描述生成常用的评测指标包括BLEU、METEOR、ROUGE和CIDEr等。但自动评测方法也存在许多不足之处,如强调生成文本与标准答案之间的 n-gram 重叠,而不考虑生成文本的准确性来评价系统。为了深入理解并解决图像描述生成系统评测问题,先提出本共享任务。

同时为保证参赛者作品的真实性和有效性,我们将通过计算各参赛团队算法提交的自动评测结果和人工评测结果之间的肯德尔等级相关系数(Kendall’s tau coefficient)来衡量该算法的好坏,得分高者为优。