【报告内容】

汇报人：周玉航

汇报单位：河海大学

主题：《AANet Adaptive Aggregation Network for Efficient Stereo Matching》

1、Introduction

2、Methods

3、Experiment

4、Conclusion

【报告总结】

1.待解决的问题

当前最先进的立体匹配网络大多基于 3D 卷积，其计算复杂度和高内存消耗使得在实际应用中部署成本非常高。如PSM-Net在高性能GPU上也需要4G的内存和410ms来处理一对KITTI图片。GA-Net意识到了3D卷积的弊端，用SGA和LGA尝试替代3D卷积，但是仍然使用了15个3D卷积。

2.相关创新方案

作者通过设计两个有效且高效的成本聚合模块：自适应同尺度聚合模块（Adaptive Intra-Scale Aggregation）和自适应跨尺度聚合模块（Adaptive Cross-Scale Aggregation）来实现成本聚合。并且使用特征相关性而不是连接的方式构造Cost Volume。

3.实验总结

消融实验：

1）表明ISA模块和CSA模块都能提升视差估计的精度，两者结合效果最佳。

2）在SceneFlow测试集上的可视化结果表明AANet在薄结构和无纹理区域中产生更好的视差预测。

泛化性能：

1）使用KITTI微调的 AANet 在 Middlebury 2014 数据集测试泛化能力。结果显示，与 PSMNet 模型相比，AANet 产生更清晰的对象边界并更好地保留整体结构。

2）与3D卷积的比较AA模块可以有效提高网络的性能，而且计算量更少，速度更快，占用内存更少。相比于3D卷积，AA模块更加的高效和有效。经过复杂度分析，可变形卷积层的计算复杂度小于3D卷积层的1/130。

3）作者的方法在准确性和速度之间取得了更好的平衡，在对象边界产生了更好的结果。

4. 结论

3D 卷积的确是基于 cost volume 立体匹配方法的痛点，想要让立体匹配更高效，少用或者不用 3D 卷积是一个很好的解决思路。从立体匹配提速角度看，之后的研究可以从如何替代 3D 卷积，或者如何减少 3D 卷积的入手。其他相似领域角度看，如何将这种思路应用到高分辨率立体匹配，多视角立体视觉（MVS），光流估计，基于双目的 3D 检测等领域。

报告时间：2023年11月17日19:30

腾讯会议：371 3868 6615

点我下载本讨论课相关文献或PPT吧~(提取码：iipr)