0 写在前面

分享最近在车道线检测方面的工作，详细跟大家说下我的配置环境和过程，欢迎自动驾驶的朋友来交流学习，助力自动驾驶早日落地。

分享一篇今年CVPR车道线检测方向的新工作——CLRNet: Cross Layer Refinement Network for Lane Detection，是自动驾驶创业公司飞布科技和浙江大学合作完成的。

参考代码：https://github.com/Turoad/clrnet

参考原文：https://arxiv.org/abs/2203.10350

介绍：车道线检测任务是一种高次层次信息都依赖的任务，本篇文章中提出了一种级联优化（从高层次的特征到低层次的特征）的车道线检测算法，极大限度利用了高低维度的特征去优化车道线在高分辨率下的预测准确度。不同与之前的LaneeATT中直接特征index的方案，提出了基于双线性采样的线型RoI提取算子（ROIGather）

车道线检测是无人驾驶系统感知模块的重要功能，主要由搭载在车身上的视觉摄像头来完成，对于车道线检测任务，CNN网络的高层次语义信息具有较强的抽象表达能力，可以更加准确判别是否为车道线。而低层次特征中包含较为丰富的纹理信息，可以帮助车道线进行精确定位。使用不同的特征级别对于准确的车道检测非常重要，但这方面的研究仍然不足，并且在港口、城市道路等真实场景中，车道线经常存在破损、被遮挡等情况。为此，文章提出了跨层优化网络（CLRNet），首先检测具有高级语义特征的车道，然后基于低级特征进行细化，充分利用车道检测中的高级和低级特征，提出了ROIGather来收集全局上下文信息，进一步增强了车道的特征表示。此外，设计了整体维度的Lane IoU loss来约束整体车道线的回归精度。

配置环境

1.PrerequisitesInstallation：

Only test on Ubuntu18.04 and 20.04 with:

Python >= 3.8 (tested with Python3.8)

PyTorch >= 1.6 (tested with Pytorch1.6)

CUDA (tested with cuda10.2)

Other dependencies described inrequirements.txt

2.Clone this repository:

git clone https://github.com/Turoad/clrnet

3.Create a conda virtual environment and activate it (conda is optional)

  • conda create -n clrnet python=3.8 -yconda activate clrnet
  • 安装pytorch,基于cuda10.2安装1.9.1
  • conda install pytorch==1.9.1 torchvision==0.10.1 torchaudio==0.9.1 cudatoolkit=10.2 -c pytorch
  • python setup.py build develop

报错：ImportError: cannot import name ‘nms_impl’ from partially initialized module ‘lanedet.ops’ (most likely due to a circular import)

分析：没有安装setup.py

4.准备Tusimple数据集

数据目录如下所示：

由于Tusimple数据没有提供语义分割标签，所以需要自己准备

打开终端，执行：

python tools/generate_seg_tusimple.py --root data/Tusimple

生成对应的seg_label

5.Getting Started

For training, run:

python main.py configs/clrnet/clr_resnet34_tusimple.py --gpus 0

For testing, run:

python main.py configs/clrnet/clr_resnet18_tusimple.py --validate --load_from tusimple_r18.pth --gpus 1

6.Visualization

run:

​python main.py configs/clrnet/clr_resnet18_tusimple.py --validate --load_from tusimple_r18.pth --gpus 1 --view​

生成的result在work_dirs文件夹里面，如下图所示：

效果好的可视化示例：

7.视频demo(自己训练测试的)

动态-哔哩哔哩https://t.bilibili.com/734992612459544576″ />

最后，写作能力也有限，有不对的地方欢迎大家批评指正!