挑战1
1.随机掩码策略忽略医学图像解剖的重要区域,无差别掩码
2.重建复杂的重要区域
方法: 自我蒸馏方法
1.模型充当教师通过计算 重建损失 确定要屏蔽的重要区域,生成更关注解剖重要区域的掩码
2.模型充当学生学习这些掩码
3.用学生的指数移动平均(EMA)权重更新教师模型
挑战2
MIM需要大规模训练数据
方法2: 掩蔽动力学函数(从易到难的掩蔽策略)
1.模型计算重建损失,由于医学解剖的重要区域复杂难重建,可以通过重建损失大的区域 学习到重要区域
2.教师随着学生的进步,不断增加MIM任务难度
方法优势
1.让模型学习找到并重建重要区域
2.优先对重要区域进行掩码
3.提高预训练效能