SimpleClick: Interactive Image Segmentation with Simple Vision Transformers

模型直接在VIT上增加交互是分割

用VIT MAE方法训练的预训练权重
用交互式分割方法微调,微调流程:
1、在当前分割自动模拟点击,没有人为提供的点击
受到RITM启发,使用随机和迭代的点击模拟策略结合。
随机点击生成的点不考虑顺序,
迭代点击模拟策略生成的点是有顺序的,后一次点击应该在前次点击生成的掩码错误的区域,更像人类点击。
2、结合前次交互得到的掩码作为额外输入,提高分割质量,以及根据现有的分割掩码refine.

损失函数:normalized focal loss

实验结果: