排名说明
- 参赛排名截止日期:2023年10月10日;
- 排名指标采用CIDEr;
- 提交多次结果的队伍,只保留一个最好结果参评;
- 每个语种评选3个获奖队伍。
名次 | 队名 | 成员 | 单位 | CIDEr |
1 | 民族进步队 | 王浩宇 | 大连民族大学队 | 0.954 |
2 | NLP distance | 李林翰 | 北京理工大学 | 0.821 |
3 | 臧梦维 | 李保利 | 博知科技(北京)有限公司 | 0.657 |
名次 | 队名 | 成员 | 单位 | CIDEr |
1 | QHNU pattern recoginition | 周子琦,才让当知,贡宝杰步 | 青海师范大学 | 1.341 |
2 | NLP distance | 李林翰 | 北京理工大学 | 1.275 |
3 | 青队 | 魏义超,戴湘烟,刘涵啸,马香菲,才让卓嘎,东智才让 | 青海师范大学 | 1.022 |
名次 | 队名 | 成员 | 单位 | CIDEr |
1 | NLP distance | 李林翰 | 北京理工大学 | 0.811 |
2 | 民族进步队 | 王浩宇 | 大连民族大学队 | 0.731 |
3 | 臧梦维 | 李保利 | 博知科技(北京)有限公司 | 0.488 |
评价标准
目前的图像描述生成常用的评测指标包括BLEU、METEOR、ROUGE和CIDEr等。但自动评测方法也存在许多不足之处,如强调生成文本与标准答案之间的 n-gram 重叠,而不考虑生成文本的准确性来评价系统。为了深入理解并解决图像描述生成系统评测问题,先提出本共享任务。
同时为保证参赛者作品的真实性和有效性,我们将通过计算各参赛团队算法提交的自动评测结果和人工评测结果之间的肯德尔等级相关系数(Kendall’s tau coefficient)来衡量该算法的好坏,得分高者为优。