评测二: 临床发现事件抽取任务

任务简介

临床发现指的是疾病的表现,泛指患者不适感觉以及通过检查得知的异常表现,主要包括症状、体征。

临床发现事件抽取是医学数据处理中的一项任务,需要从病历中抽取临床发现事件的 解剖部位、主体词、描述词,以及发生状态四个维度的属性。

任务详情

本次评测任务主要目标是从中文电子病历中挖掘出临床发现事件。给定一段现病史或者影像所见报告,要求从中抽取临床发现事件的四个属性。所有数据均来自于真实医疗数据。(注:数据中由于我们有时会对原句子做修改,偏移位置有时计算不够精准,因此文本位置信息(position)尚未提供,如有需要可以提供。)

数据说明

·数据样例如下:

core_name tendency character anatomy_list
疼痛 ["头"]
疼痛 ["持续性跳痛", "中-重度", "可缓解"] ["头"]
恶心 否定
呕吐 否定
视物模糊 否定 ["眼"]
麻木 否定 ["肢体"]
无力 ["肢体"]
疼痛 ["头"]
疼痛 不确定 ["血管性"] ["头"]
食欲 ["正常"]
神志 ["清醒"]
精神 ["尚可"]
睡眠 ["尚可"]
大便 ["正常"]
排尿 ["正常"]
体重 ["无明显变化"]

入院前2+年,患者无明显诱因出现剑突下疼痛,伴嗳气、反酸,有咳嗽、咳痰伴胸背部疼痛,呈胀痛,评分:7分,无加重缓解因素,无胸闷、咯血、呼吸困难,无潮热、盗汗、疲乏、消瘦,无畏寒、发热,于我院消化内科就诊,完善胸部ct:左肺下叶软组织块块影,考虑肺ca;遂转入我科。

core_name tendency character anatomy_list
疼痛 ["剑突下"]
嗳气
反酸
咳嗽
咳痰
疼痛 ["胸背部"]
胀痛 ["评分:7分","无加重缓解因素"] ["胸背部"]
胸闷 否定 ["胸"]
咯血 否定
呼吸困难 否定
潮热 否定
盗汗 否定
疲乏 否定
消瘦 否定
畏寒 否定
发热 否定
块影 [左肺下叶软组织"]

评测方案

每个文本的一个事件属性可能出现多个属性实体,评测指标使用事件属性来计算准召率,需要所有属性都完全正确才计算F1值。

参赛规则

注意,以下通用规则适用于本评测任务。在此基础上,参赛选手还需遵循具体大赛的特有规则。如有冲突,以后者为准。

  1. 参赛选手需要提交“参赛队名,队长信息(姓名,邮箱,联系电话),参赛单位名称”等信息,报名方式见下文。
  2. 报名截止到测试数据集发布,在测试数据集发布之后,未报名的选手/队伍不能再报名或提交。
  3. 每支队伍需指定一名队长,队伍名称不超过15个字符,队伍成员不超过4人。
  4. 每名选手只能参加一支队伍,一旦发现某选手以注册多个账号的方式参加多支队伍,将取消所有相关队伍的参赛资格。
  5. 允许使用公开和选手个人/组织内部的代码、工具、数据,但需要保证参赛结果可以复现。
  6. 针对测试集,选手不允许执行任何人工标注。
  7. 参赛选手最终需要提交可运行的代码和方法描述文档,若在排行榜上的结果无法复现,将取消参赛资格。
  8. 欢迎国内外在校生及社会在职人士参加。比赛组织方成员不可参赛。

报名方式

  1. 下载 《数据使用与保密承诺书》 在文档末尾填写参赛队信息;
  2. 参赛队负责人签名(手写签名);
  3. 将签名的《数据使用与保密承诺书》扫描件(pdf)发送至以下邮箱,邮件标题为:参赛队名+“临床发现事件抽取任务 数据使用申请”: 1216994549@qq.com;

时间安排

  1. 报名时间:8月1日—10月9日
  2. 训练及验证数据发布:9月12日—9月17日
  3. 测试数据发布:10月10日
  4. 提交测试结果:10月12日
  5. 评测论文报告:10月31日
  6. CHIP会议日期(评测报告及颁奖):12月4日—6日

任务组织者

  1. 李青遥,哈尔滨工业大学(深圳),1216994549@qq.com
  2. 王绍博,医渡云(北京)技术有限公司,shaobo.wang@yiducloud.cn
  3. 于琦,山西医科大学,yuqi@sxmu.edu.cn

评测主席

  • 汤步洲,哈尔滨工业大学(深圳),鹏城实验室,tangbuzhou@hit.edu.cn