本文介绍 点云与图像融合的3D物体检测

点云与图像融合的3D物体检测

This article was original written by Jin Tian, welcome re-post, first come with https://jinfagang.github.io . but please keep this copyright info, thanks, any question could be asked via wechat: jintianiloveu

做3D检测可以采用纯图像,纯点云,也可以融合点云和图像,毫无疑问,后者是最复杂的。现有的一些比如MultiView或者AVOD都是将点云提取出更多的调整图作为输入,来得到网络的input。比如在MultiView方法中,就采用了 height maps, density map, intensity map 作为输入

height maps: 俯视图下,每个点的最大高度,有点像分布图???

density: 密度图,每个像素范围内的点云密度信息,每个像素也就是 0.1m*0.1m的区域(这个密度是计算面积还是体积呢?)

intensity: 强度,指的是反射强度。我们知道点云每个点信息其实是 xyzi的,除了3D坐标以外,最后一个值就是强度信息。

这样,杂乱无章的3D点云信息就转换成了具有物理意义的2D图像输入。

所以在这里就有一个问题需要解决了,如何将原始的激光点云数据转换成相应的height maps, density, intensity maps. 这个很重要。

AVOD

AVOD 方法,目前实际测试的时候会有一个偏左的可以检测到,稍微右一点的无发检测的问题。