Faster R-CNN 是 2016 年的论文,它不再使用传统的 region proposal 方法,而是提出一种新方法 - Region Proposal Network(RPN)_。_RPN 是一个全卷积网络,可同时预测每个位置的对象边界和对象概率。论文中通过共享卷积特征将 RPN 和 Fast R-CNN 合并到一个网络中 - 使用了最近流行的神经网络术语“注意力”机制。
Faster R-CNN 包含两个模块。第一个模块是建立各种区域的深度全卷积网络,即 RPN ,第二个模块是使用所提取的区域的 Fast R-CNN 检测器。整个系统是用于对象检测的单一且统一的网络。如下图所示,使用了最近流行的 “注意力”机制技术,这样RPN 就可以告诉 Fast R-CNN 往哪里看。
Region Proposal Networks(RPN)
RPN 是一个全卷积神经网络,将一张图片输入 RPN 将会得到一系列矩形 region proposals,且每一个 proposal 都会带有一个对象概率(属于哪一个对象的概率)。因为最终的目标是将得到的特征与 Fast R-CNN 共 享,所以假设这两个网络共享一组共同的卷积层。
为了生成 region proposals,论文作者在最后一个共享卷积层输出的卷积特征图上滑动一个小网络。该小网络将输入卷积特征映射的 n×n 空间窗口作为输入。 每个滑动窗口都映射到较低维度的特征。该特征被馈送到两个网络完全连接的层 - 一个 box 回归层(reg)和一个 box 分类层(cls)。