通过标注资格筛选考试的医生，可以认为其专业水平达到项目的要求。但是在实际标注中，无论是现场集中标注还是远程在线标注，标注人员的工作状态都有可能会出现波动。所以需要对医生每天的标注状态进行实时监测，以保证数据标注的质量不会出现大幅度波动。监测主要有以下几种：

第一，标注时间监测。在培训测试阶段，可以通过记录测试过程中医生对于每一个病例的标注时间，建立每一位标注者的标注时间分布。在实际标注阶段，可以通过不断比对每一个病例的标注时间、该时间在该标注人员标注时间分布中的位置来判断标注的状态。若标注时间多次出现过长或过短的情况，则需要对标注人员的状态和数据的质量同时进行评估。

第二，标注一致性监测。在标注过程中，引入部分病例，让同一名标注人员进行二次标注，并计算同一个人两次标注之间的一致性，以确保标注人员的标注一致性水准始终能够达到项目的要求，保证整体标注的一致性。

第三，标注准确率监测。在标注过程中，引入部分医学专家提供的带有标准标注答案的病例，计算标注人员对于带标准答案病例标注的准确性，用以评估标注人员的实时状态。

由于开发深度学习类产品所需的数据标注量极大，标注过程的时长、费用都会十分高，因此控制标注过程的质量以及设计合理的标注方法和流程，能够控制标注成本，大大降低由于设计不合理造成的返工和成本增加。

为了避免在大量数据标注后才发现问题，推荐进行小批量标注预实验，用以检验方案的可行性。即在大批次数据标注之前，先选取少量病例数进行标注预实验，以检验标注培训效果和标注医生水平，检验标注方案和标注策略是否可行，为确立最终的标注策略提供数据分布以及标注质量评定的参考，同时预估标注耗时和成本。标注预实验阶段，应选取超量的医生（与最终实际标注相比）进行重复标注，以便评价不同标注质量控制和标注医生的能力。如果在小样本测试中发现多名医生标注一致率不高等问题，则应当重新回顾产品需求的设计和功能定义，确定该问题是否可以通过该种标注形式来达到预期效果。

构建一个人工智能产品，把算法模型从0训练到可以达到临床实际应用的程度，需要严格管理每一个环节质量。好的标注数据质量就像营养丰富、均衡、干净卫生的美食一样，输入进模型可以帮助人工智能模型健康、茁壮的成长。但是如果输入了质量不达标的训练数据，则会造成严重的“先天不足”，影响后天的成长。

“磨刀不误砍柴工”，正确的产品设计、高质量的数据、准确的标注是一个医疗人工智能产品能够成功的重要条件。我们既要做到快速迭代，又要保证资源的合理利用。我们可以通过前期的充分调研论证与思考，配合小批量的预实验来验证方案的可行性。这既可以实现快速的多轮迭代，又可以避免资源的大量非必要支出，增加每轮迭代的有效性。我们在研发过程中既要充分学习互联网行业快速迭发的机动性，又要保证遵循传统医疗器械行业审评中“安全、有效”的基本要求，只有这样，才能设计出好的基于新一代人工智能技术的医疗器械软件。

文章来源：《影像科学与光化学》 网址: http://www.yxkxyghxgw.cn/zonghexinwen/2022/1207/623.html