1. SAM背景简介
2023年4月6号,Meta AI公开了Segment Anything Model(SAM),使用了有史以来最大的分割数据集Segment Anything 1-Billion mask dataset(SA-1B),其内包含了1100万张图像,总计超过10亿张掩码图,模型在训练时被设计为交互性的可提示模型,因此可以通过零样本学习转移到新的图像分布和任务中。 许多研究人员认为「这是 CV 的 GPT-3 时刻,因为 SAM 已经学会了物体是什么的一般概念,甚至是未知的物体、不熟悉的场景(如水下、细胞显微镜)和模糊的情况,并展示了作为 CV 基本模型的巨大潜力。 其目标是在给定任何分割提示下返回一个有效的分割掩码,并在一个大规模且支持强大泛化能力的数据集上对其进行预训练,然后用提示工程解决一系列新的数据分布上的下游分割问题。
本专栏将详细解读与SAM模型相关的论文,每篇文章详细介绍了模型的发表时间,论文及代码出处,摘要,前言,模型结构以及实验流程等等,内容详细且逻辑顺序清晰,包含了原论文中全部重要的关键点,将带领大家了解SAM领域的全面知识点。
2. SAM轻量化变体模型
FastSAM(2023年6月21日):