SqueezeSAM: User-Friendly Mobile Interactive Segmentation
比SAM更小,更快。
框架:
使用的U型结构
使用BatchNorm而不是LayerNorm节省计算;
对于用户点击和框,单独作为通道,前融合和后融合(sam只有后融合)。
训练:
训练时每个图片随机选8个masks,改变了点击送入模型的方式,原始sam模型训练时每个批次点击一次得到一个点击样本,然后模型再运行,因此一个批次运行了很多步,增加了训练时间,因此本文模型简单的一个批次收集一些点,然后训练一步。
实验结果: