用于语义线检测的深度霍夫变换

Posted on

用于语义线检测的深度霍夫变换

今天我们介绍的是今年发表在TPAMI上的一篇文章。本文提出一种新的架构，从而兼顾卷积神经网络的特征学习能力和霍夫曼变换的高效性。此外，本文还公开了比以往数据集都要大的大型语义线检测数据集NKL。

介绍

​ 语义直线是一种能够展示图像布局的特殊直线，例如不同区域的分割线，建筑物的中轴线等。在图像分析和场景理解中具有重要作用。

image-20210527152927542

图1.语义线

霍夫曼变换是一种经典的直线检测方法，它通过将任意直线转换到参数空间，从而将图像空间的线检测问题简化为参数空间的点检测问题。

在本文中，直线的参数化方法是采用其法线的角度θ和其到原点的距离r作为直线的参数，这种方法可以参数化任意角度，任意位置的直线。

image-20210527161950769

图2.直线的二维表示

​ 那么如何在深度特征上进行霍夫变换呢？对于输入图片，先利用卷积神经网络提取图像的空间特征X，之后遍历特征图中所有的直线，将特征聚合到参数空间中对应的点上。

image-20210527164234437

图3.深度霍夫变换，沿着图像空间中的直线，将直线特征聚合到空间中的一个点上。

经过深度霍夫变换之后，，特征空间X中的一条直线对应着参数空间Y中的一个点。由于在边缘处可能会提取出许多相近的直线，需要进行一个非极大抑制，这时找X空间中最显著的直线对应于在Y空间中找峰值点，这项任务可以由卷积核来完成。

image-20210527174300674

图4.使用3×3卷积核提取上下文信息，从而实现非极大抑制。

实验结果

image-20210527174548415

表1.与其他方法在SEL数据集和NKL数据集上的对比，CD、EMD和EA分别是Chamfer distance，earth-mover‘s distance和EA-score，是评价直线之间相似度的度量。P，R，F表示精确率，召回率和F-score。

image-20210527175436729

图5.与其他方法的可视化比较