评测六: 中文糖尿病问题分类评测任务
1. 任务简介
随着互联网的快速发展，庞大的二型糖尿病患者和高危人群对糖尿病专业信息获取的需求日益突出，糖尿病作为一种典型慢性疾病已成为全球重大公共卫生挑战之一，糖尿病自动问答服务对患者和高危人群的日常健康服务也发挥着越来越重要的作用。中文糖尿病问题分类评测任务旨在自动为患者提出的有关糖尿病问题进行分类。该任务将有助于增强搜索结果的性能并推动糖尿病自动问答服务的发展。
2. 任务详情
参赛者需要预测测试集中糖尿病问题对应的分类，预测完成后需将测试数据集空缺的类别标签数据进行填充。评价环节仅对填充的数据进行误差分析，得出预测表现得分。
3. 数据说明
评测数据集包含的中文糖尿病问题一共分为6类，包括诊断、治疗、常识、健康生活方式、流行病学、其他。数据以 6：1：1 的比例划分为训练集、验证集和测试集。总计6000条数据。数据集都是以 .txt 格式存储。训练集、验证集和测试集包含question和label，分类数据集包含class和label。
| 类别 |
训练集 |
验证集 |
测试集 |
总计 |
| 诊断 |
527 |
103 |
87 |
717 |
| 治疗 |
1501 |
260 |
265 |
2026 |
| 常识 |
1226 |
212 |
217 |
1655 |
| 健康生活方式 |
1702 |
251 |
273 |
2226 |
| 流行病学 |
599 |
118 |
90 |
807 |
| 其他 |
445 |
56 |
68 |
569 |
| 总计 |
6000 |
1000 |
1000 |
8000 |
数据样例
训练集/验证集如下（数据集中没有存储表头question和label）
| question |
|
label |
| 糖尿病会引起眼睛水肿吗 |
/t |
4 |
| 糖尿病患者能用党参泡水喝吗 |
/t |
3 |
| 糖尿病人吃菠菜好吗 |
/t |
3 |
| 孕妇得了糖尿病怎么办 |
/t |
1 |
分类数据集如下（数据集中没有存储表头class和label）：
| class |
|
label |
| Diagnosis |
/t |
0 |
| Treatment |
/t |
1 |
| Common Knowledge |
/t |
2 |
| healthy lifestyle |
/t |
3 |
| Epidemiololgy |
/t |
4 |
| Other |
/t |
5 |
4. 评测方法
评测指标
该任务使用准确率（Acc，Accuracy）作为整体排名标准，公式如下：
结果提交格式
参赛者请按照以下示例要求填充好测试集对应的“label”列，“question”与“label”之间使用“\t”作为分隔符（“question”和“label”字段不用存储）。最后将文件以pred.txt格式保存并提交至评测网站。
| class |
|
label |
| 糖尿病患者可以吃西瓜吗 |
/t |
3 |
结果提交格式
1. 相关代码及说明
2. 方法描述文档
3. 如果方法使用了额外公开的数据资源，要求说明并提供资源文件或地址，包括但不限于代码、工具和数据。要求所使用的资源是公开可获取的。
5. 评测任务组织者
组织者
TAM文本分析与挖掘团队，华南师范大学
联系人
李舜浩，
280137277@qq.com
评测网站链接
https://tianchi.aliyun.com/competition/entrance/532153
6. 参赛规则
注意，以下通用规则适用于本评测任务。在此基础上，参赛选手还需遵循具体大赛的特有规则。如有冲突，以后者为准。
1.参赛选手需要提交“参赛队名，队长信息（姓名，邮箱，联系电话），参赛单位名称”等信息，发送至邮箱280137277@qq.com。
2.报名截止到测试数据集发布，在测试数据集发布之后，未报名的选手/队伍不能再报名或提交。
3.每支队伍需指定一名队长，队伍名称不超过15个字符，队伍成员不超过4人。
4.每名选手只能参加一支队伍，一旦发现某选手以注册多个账号的方式参加多支队伍，将取消所有相关队伍的参赛资格。
5.允许使用公开和选手个人/组织内部的代码、工具、数据，但需要保证参赛结果可以复现。
6.针对测试集，选手不允许执行任何人工标注。
7.参赛选手最终需要提交可运行的代码和方法描述文档，若在排行榜上的结果无法复现，将取消参赛资格。
8.欢迎国内外在校生及社会在职人士参加。比赛组织方成员不可参赛。
用【钉钉】扫描下方二维码为您解答比赛相关规则
