港中文-商汤OpenMMLab开源全景图!

 

 

OpenMMLab 为香港中文大学-商汤科技联合实验室 MMLab 开源的算法平台,不到两年时间,已经包含众多 SOTA 计算机视觉算法。

OpenMMLab 在Github上不是一个单独项目,除了大家所熟知的 Github 上万 star 目标检测库 MMDetection,还有其他方向的代码库和数据集,非常值得从事计算机视觉研发的朋友关注。

近期 OpenMMLab 进行了密集更新,新增了多个库,官方称涉及超过 10 个研究方向,开放超过 100 种算法和 600 种预训练模型,目前Github总星标超过 1.7万。是CV方向系统性较强、社区活跃的开源平台。

这些库大部分都基于深度学习 PyTorch 框架,算法紧跟前沿,方便易用,文档较为丰富,无论对于研究还是工程开发的朋友都很值得了解。

项目主页:

http://openmmlab.org/

本文带领大家细数各个代码库,相信总有一款适合你!

MMCV

MMCV是用于计算机视觉研究的基础Python库,支持OpenMMLab旗下其他开源库。
Github | https://github.com/open-mmlab/mmcv
主要功能是I/O、图像视频处理、标注可视化、各种CNN架构、各类CUDA操作算子。

MMDetection

MMDetection是基于PyTorch的开源目标检测工具箱。是OpenMMLab最知名的开源库,几乎是研究目标检测必备!

主要特点:

  • 模块化设计
  • 支持开箱即用的多方法
  • 高效率
  • SOTA

demo:

Github | https://github.com/open-mmlab/mmdetection

主持的主干网:

  •  ResNet
  •  ResNeXt
  •  VGG
  •  HRNet
  •  RegNet
  •  Res2Net

支持的算法:

  •  RPN
  •  Fast R-CNN
  •  Faster R-CNN
  •  Mask R-CNN
  •  Cascade R-CNN
  •  Cascade Mask R-CNN
  •  SSD
  •  RetinaNet
  •  GHM
  •  Mask Scoring R-CNN
  •  Double-Head R-CNN
  •  Hybrid Task Cascade
  •  Libra R-CNN
  •  Guided Anchoring
  •  FCOS
  •  RepPoints
  •  Foveabox
  •  FreeAnchor
  •  NAS-FPN
  •  ATSS
  •  FSAF
  •  PAFPN
  •  Dynamic R-CNN
  •  PointRend
  •  CARAFE
  •  DCNv2
  •  Group Normalization
  •  Weight Standardization
  •  OHEM
  •  Soft-NMS
  •  Generalized Attention
  •  GCNet
  •  Mixed Precision (FP16) Training
  •  InstaBoost
  •  GRoIE
  •  DetectoRS
  •  Generalized Focal Loss

论文盘点 | CVPR 2020 -目标检测篇

MMDetection3D

 

 

从CVPR2020 中也可以看出3D目标检测研究异常火热,该库是专门用于3D目标检测的开源库。

主要特点:

  • 支持开箱即用的多模态/单模态检测器
  • 支持开箱即用的室内/室外检测器
  • 与2D目标检测自然融合
  • 高效率

demo:

Github | https://github.com/open-mmlab/mmdetection3d
论文盘点 | CVPR 2020 -目标检测篇
MMSegmentation

 

MMSegmentation是一个基于PyTorch的开源语义分割工具箱.

主要特点:

  • 统一基准
  • 模块化设计
  • 支持开箱即用的多方法
  • 高效率

demo:

Github | https://github.com/open-mmlab/mmsegmentation

支持的骨干网:

  •  ResNet
  •  ResNeXt
  •  HRNet

支持的算法:

  •  FCN
  •  PSPNet
  •  DeepLabV3
  •  PSANet
  •  DeepLabV3+
  •  UPerNet
  •  NonLocal Net
  •  EncNet
  •  CCNet
  •  DANet
  •  GCNet
  •  ANN
  •  OCRNet

论文盘点 | CVPR 2020 -语义分割篇

MMClassification

 

MMClassification是基于PyTorch的开源图像分类工具箱。

主要特点:

  • 各种骨干与预训练模型
  • Bag of training tricks
  • 大规模训练配置
  • 高效率与可扩展性

Github | https://github.com/open-mmlab/mmclassification

支持的骨干网:

  •  ResNet
  •  ResNeXt
  •  SE-ResNet
  •  SE-ResNeXt
  •  RegNet
  •  ShuffleNetV1
  •  ShuffleNetV2
  •  MobileNetV2
  •  MobileNetV3

MMPose

MMPose是一个基于PyTorch的开源姿势估计工具箱。

demo:

Github | https://github.com/open-mmlab/mmpose
论文盘点 | CVPR 2020 -人体姿态估计与动作捕捉篇

MMAction

MMAction是一个基于PyTorch开放源代码的工具箱,用于动作理解。

主要特点:

  • 可以解决以下任务:
  • 从剪辑视频中进行动作识别
  • 未剪辑视频中的时序动作检测(也称为动作定位)
  • 未剪辑视频中的时空动作检测。
  • 支持各种数据集
  • 支持多动作理解框架
  • 模块化设计

Github | https://github.com/open-mmlab/mmaction

论文盘点 | CVPR 2020 -动作识别篇

MMAction2

 

MMAction2是一个基于PyTorch开放源代码的工具箱,用于动作理解。

主要特点:

  • 模块化设计
  • 支持多种数据集
  • 支持多重动作理解框架
  • 完善的测试和记录

MMAction2比MMAction支持的算法更多,速度更快,开发者也更活跃。

Github | https://github.com/open-mmlab/mmaction2

支持的动作识别算法:

  •  TSN
  •  TSM
  •  R(2+1)D
  •  I3D
  •  SlowOnly
  •  SlowFast

支持的动作定位算法:

  •  BMN
  •  BSN

论文盘点 | CVPR 2020 -动作识别篇

MMSkeleton

MMSkeleton

用于人体姿势估计,基于骨架的动作识别和动作合成。

特点:

  • 高扩展性
  • 多任务

demo:

Github | https://github.com/open-mmlab/mmskeleton

论文盘点 | CVPR 2020 -动作识别篇

论文盘点 | CVPR 2020 -人体姿态估计与动作捕捉篇

MMFashion

 

MMFashion是一个基于PyTorch的开源视觉时尚分析工具箱。

特点:

  • 灵活:模块化设计,易于扩展
  • 友好:外行用户的现成模型
  • 全面:支持各种时装分析任务

demo:

 
 

Github | https://github.com/open-mmlab/mmfashion

支持应用:

  • 服饰属性预测
  • 服饰识别与检索
  • 服饰特征点检测
  • 服饰解析和分割
  • 服饰搭配推荐

相关解读 | 当时尚遇上AI!港中文MMLab开源MMFashion工具箱

相关解读 | 研究CV、研究美,MMFashion开源库升级~

MMEditing

 

MMEditing是基于PyTorch的开源图像和视频编辑工具箱
主要特点:
  • 模块化设计
  • 在编辑中支持多任务
  • SOTA
demo:

Github | https://github.com/open-mmlab/mmediting
论文盘点 | CVPR 2020 -抠图Matting篇
论文盘点 | CVPR 2020 -图像质量评价篇
论文盘点 | CVPR 2020 -去雨去雾去模糊篇
论文盘点 | CVPR 2020 -图像修复Inpainting篇
论文盘点 | CVPR 2020 -图像增强与图像恢复篇
OpenPCDet

OpenPCDet 是一个清晰,简单,自成体系的开源项目,用于基于LiDAR的3D目标检测。

设计模式:

Github | https://github.com/open-mmlab/OpenPCDet
支持一阶段和两阶段的3D目标检测框架、多机多卡分布式训练和测试、ATSS等。

论文盘点 | CVPR 2020 -目标检测篇

OpenUnReID

 

OpenUnReID是研究用于目标重识别的无监督学习和无监督域适应的开源库,基于PyTorch实现。
主要特点:
  • 多机多卡分布式训练和测试
  •  支持数据集、骨干网、损失函数高度灵活的结合
  •  高速的基于GPU的伪标签生成和k-reciprocal重排序方法
  •  即插即用的适用任何骨干网的批规范化方法:BatchNorms、sync BN
  •  强大的基线实现
  •  目前目标重识别领域无监督学习和域适应的众多SOTA算法

支持算法:

Github | https://github.com/open-mmlab/OpenUnReID

OpenSelfSup

 

OpenSelfSup是基于PyTorch的无监督表示学习工具箱

主要特点:
  • 方法众多
  • 灵活可扩展
  • 高效
  • 算法比较评测简单

包含算法:

其中BYOL刚出来没多久!

Github | https://github.com/open-mmlab/OpenSelfSup
相关解读 | OpenSelfSup: Open-MMLab自监督表征学习代码库             

转载请注明:《港中文-商汤OpenMMLab开源全景图!