English | 简体中文
MMSelfSup 是一个基于 PyTorch 实现的开源自监督表征学习工具箱,是 OpenMMLab 项目成员之一。
主分支代码支持 PyTorch 1.6 及以上的版本。
-
多方法集成
MMSelfSup 提供了多种前沿的自监督学习算法,大部分的自监督预训练学习都设置相同,以在基准中获得更加公平的比较。
-
模块化设计
MMSelfSup 遵照 OpenMMLab 项目一贯的设计理念,进行模块化设计,便于用户自定义实现自己的算法。
-
标准化的性能评测
MMSelfSup 拥有丰富的基准进行评估和测试,包括线性评估, 线性特征的 SVM / Low-shot SVM, 半监督分类, 目标检测和语义分割。
-
兼容性
兼容 OpenMMLab 各大算法库,拥有丰富的下游评测任务和预训练模型的应用。
默认分支已经从 master
切换到 1.x
。我们鼓励用户迁移到最新版本,请参考 迁移指南 以了解更多细节。
v1.0.0rc6 版本已经在 2023.2.10 发布。
- 在
projects/maskfeat_video/
支持了MaskFeat
的视频数据预训练 - 将部分文档翻译成中文
v1.0.0rc5 版本已经在 2022.12.30 发布。
- 支持了
BEiT v2
,MixMIM
,EVA
- 支持了模型分析工具
ShapeBias
- 添加 FGIA ACCV 2022 比赛第一名方案
- 重构了
t-SNE
请参考 更新日志 获取更多细节和历史版本信息。
MMSelfSup 1.x 和 0.x 的不同点写在 迁移文档 中。
MMSelfSup 依赖 PyTorch, MMCV, MMEngine 和 MMClassification。
请参考 安装文档 获取更详细的安装指南。
我们针对基础使用和进阶用法提供了 用户指引:
Pretrain
Downetream Tasks
Useful Tools
如果遇到问题,请参考 常见问题解答。
请参考 模型库 查看我们更加全面的模型基准结果。
目前已支持的算法:
- Relative Location (ICCV'2015)
- Rotation Prediction (ICLR'2018)
- DeepCluster (ECCV'2018)
- NPID (CVPR'2018)
- ODC (CVPR'2020)
- MoCo v1 (CVPR'2020)
- SimCLR (ICML'2020)
- MoCo v2 (arXiv'2020)
- BYOL (NeurIPS'2020)
- SwAV (NeurIPS'2020)
- DenseCL (CVPR'2021)
- SimSiam (CVPR'2021)
- Barlow Twins (ICML'2021)
- MoCo v3 (ICCV'2021)
- BEiT (ICLR'2022)
- MAE (CVPR'2022)
- SimMIM (CVPR'2022)
- MaskFeat (CVPR'2022)
- CAE (arXiv'2022)
- MILAN (arXiv'2022)
- BEiT v2 (arXiv'2022)
- EVA (arXiv'2022)
- MixMIM (ArXiv'2022)
更多的算法实现已经在我们的计划中。
基准测试方法 | 参考设置 |
---|---|
ImageNet Linear Classification (Multi-head) | Goyal2019 |
ImageNet Linear Classification (Last) | |
ImageNet Semi-Sup Classification | |
Places205 Linear Classification (Multi-head) | Goyal2019 |
iNaturalist2018 Linear Classification (Multi-head) | Goyal2019 |
PASCAL VOC07 SVM | Goyal2019 |
PASCAL VOC07 Low-shot SVM | Goyal2019 |
PASCAL VOC07+12 Object Detection | MoCo |
COCO17 Object Detection | MoCo |
Cityscapes Segmentation | MMSeg |
PASCAL VOC12 Aug Segmentation | MMSeg |
我们非常欢迎任何有助于提升 MMSelfSup 的贡献,请参考 贡献指南 来了解如何参与贡献。
MMSelfSup 是一款由不同学校和公司共同贡献的开源项目,我们感谢所有为项目提供算法复现和新功能支持的贡献者,以及提供宝贵反馈的用户;同时,我们非常感谢 OpenSelfSup 的原开发者和贡献者。
我们希望该工具箱和基准测试可以为社区提供灵活的代码工具,供用户复现现有算法并开发自己的新模型,从而不断为开源社区提供贡献。
如果您发现此项目对您的研究有用,请考虑引用:
@misc{mmselfsup2021,
title={{MMSelfSup}: OpenMMLab Self-Supervised Learning Toolbox and Benchmark},
author={MMSelfSup Contributors},
howpublished = {\url{https://github.com/open-mmlab/mmselfsup}},
year={2021}
}
该项目采用 Apache 2.0 开源许可证。
- MMEngine: OpenMMLab 深度学习模型训练基础库
- MMCV: OpenMMLab 计算机视觉基础库
- MMEval: 统一开放的跨框架算法评测库
- MIM: MIM 是 OpenMMlab 项目、算法、模型的统一入口
- MMClassification: OpenMMLab 图像分类工具箱
- MMDetection: OpenMMLab 目标检测工具箱
- MMDetection3D: OpenMMLab 新一代通用 3D 目标检测平台
- MMRotate: OpenMMLab 旋转框检测工具箱与测试基准
- MMYOLO: OpenMMLab YOLO 系列工具箱和基准测试
- MMSegmentation: OpenMMLab 语义分割工具箱
- MMOCR: OpenMMLab 全流程文字检测识别理解工具箱
- MMPose: OpenMMLab 姿态估计工具箱
- MMHuman3D: OpenMMLab 人体参数化模型工具箱与测试基准
- MMSelfSup: OpenMMLab 自监督学习工具箱与测试基准
- MMRazor: OpenMMLab 模型压缩工具箱与测试基准
- MMFewShot: OpenMMLab 少样本学习工具箱与测试基准
- MMAction2: OpenMMLab 新一代视频理解工具箱
- MMTracking: OpenMMLab 一体化视频目标感知平台
- MMFlow: OpenMMLab 光流估计工具箱与测试基准
- MMEditing: OpenMMLab 图像视频编辑工具箱
- MMGeneration: OpenMMLab 图片视频生成模型工具箱
- MMDeploy: OpenMMLab 模型部署框架
扫描下方的二维码可关注 OpenMMLab 团队的 知乎官方账号,加入 OpenMMLab 团队的 官方交流 QQ 群,添加OpenMMLab 官方小助手微信,加入 MMSelfSup 微信社区。
我们会在 OpenMMLab 社区为大家
- 📢 分享 AI 框架的前沿核心技术
- 💻 解读 PyTorch 常用模块源码
- 📰 发布 OpenMMLab 的相关新闻
- 🚀 介绍 OpenMMLab 开发的前沿算法
- 🏃 获取更高效的问题答疑和意见反馈
- 🔥 提供与各行各业开发者充分交流的平台
干货满满 📘,等你来撩 💗,OpenMMLab 社区期待您的加入 👬