R-FCN:基于区域的全卷积网络来检测物体

发布时间:2021-05-09 20:43:31

原文标题为“R-FCN: Object Detection via Region-based Fully Convolutional Networks ”,作者代季峰 1,14年毕业的清华博士到微软亚洲研究院的视觉计算组,CVPR 16 两篇一作的会议主持人~ ?(°?°)? 同时公布了源码~ 2



后面主要内容为原文随便的翻译或概括。必有不紧贴原文原意之处,曲解请指出,否则求放过~



1. 简介

物体检测的深度网络按感兴趣区域 (RoI) 池化层分为两大主流:共享计算的全卷积子网络 (每个子网络与 RoI 无关) 和 不共享计算的作用于各自 RoI 的子网络。工程分类结构 (如 Alexnet 和 VGG Nets) 造成这样的分流。而工程上的图像分类结构被设计为两个子网络??1个后缀1个空间池化层的卷积子网络和多个全连接层。因此,图像分类网络中最后的空间池化层自然变成了物体检测网络中的 RoI 池化层。


*年来,诸如残差网络和 GoogLeNets 等先进的图像分类网络为全卷积网络。类似地,自然会想到用在物体检测中用全卷积网络 (隐藏层不包含作用于 RoI 的子网络)。然而,物体检测工作中的经验表明,这样天真的解决方案的检测效果远差于该网络的分类效果。 为弥补尴尬,更快 R-CNN 检测器不自然地在两卷积层间插入RoI 池化层,这样更深的作用于各 RoI 的子网络虽精度更高,但各个 RoI 计算不共享所以速度慢。


尴尬在于:物体分类要求*移不变性越大越好 (图像中物体的移动不用区分),而物体检测要求有*移变化。所以,ImageNet 分类领先的结果证明尽可能有*移不变性的全卷积结构更受亲睐。另一方面,物体检测任务需要一些*移变化的定位表示。比如,物体的*移应该使网络产生响应,这些响应对描述候选框覆盖真实物体的好坏是有意义的。我们假设图像分类网络的卷积层越深,则该网络对*移越不敏感。



我曾看到的尴尬包括:


a) Kaggle 中的白鲸身份识别。刚开始很多人尝试从图像到坐标的直接回归,到后面有几位心善的大哥分享了自己手动标定后白鲸的图像坐标,后来显著的进展大多是因为把白鲸的位置检测和身份识别问题简化为白鲸的身份识别问题。
b) Caffe 用于物体检测时的均值收敛问题。



消除尴尬,在网络的卷积层间插入 RoI 池化层。这种具体到区域的操作在不同区域间跑时不再有*移不变性。然而,该设计因引入相当数目的按区域操作层 (region-wise layers) 而牺牲了训练和测试效率。


本文,我们为物体检测推出了基于区域的全卷积网络 (R-FCN),采用全卷积网络结构作为 FCN,为给 FCN 引入*移变化,用专门的卷积层构建位置敏感分数地图 (position-sensitive score maps)。每个空间敏感地图编码感兴趣区域的相对空间位置信息。 在FCN上面增加1个位置敏感 RoI 池化层来监管这些分数地图。


2. 方法
(1) 简介

效仿 R-CNN,采用流行的物体检测策略,包括区域建议和区域分类两步。不依赖区域建议的方法确实存在 (SSD 和 Yolo 弟兄),基于区域的系统在不同 benchmarks 上依然精度领先。用更快 R-CNN 中的区域建议网络 (RPN) 提取候选区域,该 RPN 为全卷积网络。效仿更快 R-CNN,共享 RPN 和 R-FCN 的特征。



RPN 给出感兴趣区域,R-FCN 对该感兴趣区域分类。R-FCN 在与 RPN 共享的卷积层后多加1个卷积层。所以,R-FCN 与 RPN 一样,输入为整幅图像。但 R-FCN 最后1个卷积层的输出从整幅图像的卷积响应图像中分割出感兴趣区域的卷积响应图像。



R-FCN 最后1个卷积层在整幅图像上为每类生成

k2
个位置敏感分数图,有

C
类物体外加1个背景,因此有k2(C+1)个通道的输出层。

k2
个分数图对应描述位置的空间网格。比如,

k×k=3×3
,则9个分数图编码单个物体类的 {

top?left,top?center,top?right,...,bottom?right
}。


R-FCN 最后用位置敏感 RoI 池化层,给每个 RoI 1个分数。选择性池化图解:看上图的橙色响应图像 (

top?left
),抠出橙色方块 RoI,池化橙色方块 RoI 得到橙色小方块 (分数);其它颜色的响应图像同理。对所有颜色的小方块投票 (或池化) 得到1类的响应结果。



选择性池化是跨通道的,投票部分的池化为所有通道的池化。而一般池化都在通道内。



R-FCN 最后1个卷积层的输出为什么会具有相对空间位置这样的物理意义 (top-left,top-center,…,bottom-right)?


原文为“With end-to-end training, this RoI layer shepherds the last convolutional layer to learn specialized position-sensitive score maps.”。所以,假设端到端训练后每层真有相对位置的意义,那么投票前的输入一定位置敏感。投票后面的内容用作分类。


端到端训练先自行脑补:
假设已知原图像与真实物体的边界框中心坐标和宽高,把1个物体的边界框中心坐标分成

k2
个网格的中心坐标,宽高缩放为物体宽高的

1k
倍,得到每个网格的掩码。用原图像和每类物体的网格在整幅图像中的掩码端到端训练全卷积网络。挺像图像分割~


(2) 基础结构

ResNet-101 网络有100个卷积层,1个全局*均池化层和1个1000类的全连接层。仅用ImageNet预训练的该网络的卷积层计算特征图。


(3) 位置敏感分数图

对 R-FCN 的卷积响应图像按 RPN 的结果分割出来感兴趣区域,对单通道的感兴趣区域分成

k×k
个网格,每个网格*均池化,然后所有通道再*均池化。
其实不是这样的~ 因为 RoI 覆盖的所有面积的橙色方片都是左上位置的响应。


“To explicitly encode position information into each RoI, we divide each RoI rectangle into

k×k
bins by a regular grid.” 这句话应对应下图 (对应后面效果图的黄色虚线部分):



对1个大小为

w×h
的 RoI,1个桶 (bin) 的大小为

wk×hk
,最后1个卷积层为每类产生

k2
个分数图。对第

(i,j)
个桶 (

0≤i,j≤k?1
),定义1个位置敏感 RoI 池化操作:





rc(i,j|Θ)=1n∑(x,y)∈bin(i,j)zi,j,c(x+x0,y+y0|Θ)

相关文档

  • 快乐暑假生活小学五年级作文
  • 麓湖的秋天
  • 幼儿园大班语言活动教案《摇篮》含反思
  • spring boot2.0整合activeMQ,配置连接池,启动项目报错,JmsMessagingTemplate无法注入
  • 我很丑还一刀刀剜去苹果核随笔
  • 那件事真让我心烦
  • vivo手机连接手柄教程
  • 关门山的“奇”
  • 电脑着火应该怎么办
  • List深拷贝记录
  • 猪肉之肉丝-鱼香肉丝 猪肉之焦熘-咕老肉
  • python为什么叫爬虫-总算领会python为什么叫爬虫
  • 电脑上excel文档打不开怎么办
  • 排毒养颜的小秘方
  • 哲理故事演讲稿文字素材
  • 激励人的句子有哪些?
  • 快乐ing
  • 银行个人存款营销方案
  • 高考英语完形填空真题练习
  • 动漫插图情侣图片作品大全
  • OS X EI Capitan 10.11.1快速升级方法介绍
  • 唯美爱情哲理签名档
  • 女性秋季养生保健必须吃的食物
  • 幼儿园中班音乐教案《我们都是好朋友》含反思
  • 参观消防站的作文
  • 小学幼儿教师演讲稿
  • C语言小练习??约瑟夫环问题
  • 很现实很有道理的话_让人心凉透的句子
  • sharepoint 2013 BCS 配置及使用
  • 不参加学业水平测试能不能参加高考
  • 猜你喜欢

  • 郑州威客思企业管理咨询有限公司企业信用报告-天眼查
  • 三星手机时间不准怎么办
  • xx套热电联产设备生产建设项目可行性研究报告
  • 江西高上高贸易有限公司企业信用报告-天眼查
  • 张家港赛维斯企业服务有限公司(企业信用报告)- 天眼查
  • 少儿公园半日游
  • std::ios::sync_with_stdio(false); cin.tie(0);
  • 【沪科版教材适用】七年级数学下册《【学案】实数的性质及其运算》
  • 北师大版二下《小熊购物》课件之三
  • 标准CAK1000停车场管理系统方案远距离蓝牙
  • 上海银监局关于同意中国光大银行股份有限公司上海城上城社区支行
  • 我们去看母校 初中作文【600字】
  • 三星s9 屏幕刷新率
  • 广州天河区中考语文一模试卷
  • 基于累积绝对差图像与交叉熵分割的运动目标检测与定位
  • 光照水电站调压井开挖与衬砌施工
  • 2015英语六级写作题预测:细节决定成败
  • 2020年第二学期三年级数学期中试卷北师大版.docx
  • 墙为话题的初中生作文
  • 五笔字型输入法基础教程
  • 新建 Microsoft PowerPoint 2007 演示(1)(1)
  • 个人收入证明模板
  • 电梯自动控制系统的设计
  • 会计经验:增值税一般纳税人和小规模纳税人的认定及管理
  • BNUOJ 52297 Coins(2016 ACM-ICPC四川省赛E题)
  • 精彩作文大全-感恩的心10 精品
  • 肺栓塞-病例报告_图文.ppt
  • 作文材料-哲理故事目光的所在 精品
  • 写玩游戏的作文600字 传统小游戏
  • 2006年辽宁公务员考试行测真题-推荐下载
  • 你的笑,我的珍藏
  • 技嘉推出 HiFi 音频解码小尾巴:配备 ES9280C Pro 芯片、发烧电容
  • 北京市融惠建筑机具租赁公司(企业信用报告)- 天眼查
  • 环保演讲稿:让我们来保护自然环境-作文
  • 小学记叙文 20年后的地球-精品
  • 自治区烟草公司网络安全总体规划方案-志冠信息
  • [K12学*]云南省昆明市2018年中考英语总复* 第二部分 语法专题研究 专题十三 简单句试题
  • 小学六年级-可爱的小猫3 精品
  • 2017年德克萨斯基督教大学与南阿拉巴马大学哪个好
  • 关于团结合作共创和谐班级黑板报图片
  • 电梯溜车事故的案例分析PPT课件
  • 经典建筑工程项目管理(二级)常考题一
  • 电脑版