小鹏汽车事故 小鹏汽车自动驾驶智能研究中心

深度 | 2022-08-16 01:52:23| 62
小鹏汽车事故  小鹏汽车自动驾驶智能研究中心

8月10日,宁波高架发生小鹏P7追尾事故,造成人员死亡。

事故的原因主要有两个。首先,被撞车辆是静止的。第二,被撞者站在车后。靠近车的地方是水泥护栏,还有一个人蹲着,靠近被撞。

即使在这次事故中,车主没有开启NGP功能,AEB系统应该是可以工作的,但上述原因使得AEB系统失灵。

可能有人会说80km/h的速度超过了AEB的上限,早期的AEB系统也是如此,上限一般是60km/h

2020年后的新一代AEB是不同的。在车速上限时会停下来,也就是制动力达到最大,超过上限时会减速。

以特斯拉为例,如果它减速50公里,那么系统会以每小时110公里的速度触发AEB,它会减速到每小时60公里的最高速度。

有些汽车,如梅赛德斯-奔驰,在AEB的限速是每小时110公里。

有些车型还把这部分单独拿出来,叫做碰撞缓解,其实就是AEB的加强版。

只减速不停车,避免后车高速追尾。

蔚来和特斯拉都曾撞过静止的车辆,尤其是特斯拉,多次撞上白色货车和消防车。

在封闭场地测试时,我们可以看到静止的车辆和行人都可以触发AEB,即使是最便宜的车型也可以刹车和停车。

但是当在真实的道路上遇到一个静止的目标时,为什么AEB失败了呢?

01

分离动态目标的三种常用方法

图像识别过程

我们先从图像识别过程中使用物体分离的方法,来看看自动驾驶系统是如何识别和处理障碍物的。

上图是机器视觉的处理流程。主要过程是输入图像和对输入图像进行预处理。

然后对预处理后的图像进行ROI区域检测或异常检测,并通过特征提取对检测到的区域进行分类和识别。

系统需要特别注意运动目标,会优先考虑运动目标,所以第一步是将运动目标从背景图像中分离出来。有些系统为了避免误操作,简单地过滤掉静态目标。

运动目标分离方法

分离动态目标最常见的三种方法是帧差法光流法背景差法

考虑到实时性和成本,目前业内多采用帧差法。这种方法消耗的计算资源最少,最容易实现实时性,但存在准确率低的缺点。

所谓帧差法就是检测相邻帧之间的像素变化。

帧差法的基本思想是在运动物体的视频中,可以按照时间提取出一系列连续的序列图像。在这些相邻的序列图像中,背景的像素变化较小,而运动物体的像素变化较大。利用由运动物体的运动引起的像素变化,可以分割运动物体。

帧差法可分为二帧差法和三帧差法。

两帧差分法

三帧差分法

两帧差分法是采集视频,对相邻两帧时间序列图像进行差分。

两个相邻图像之间的差异可以在任何具有复杂特征(例如,纹理特征、灰度平均值等)的图像上进行。).

因此,可以检测出明显不同于背景的运动物体。

根据给定的阈值,将差分结果二值化:

如果差分图像大于给定的阈值,则该像素点被认为是前景物体中的一个点,该像素点被认为是运动物体的一部分;

如果差分图像小于给定阈值,则认为像素点属于背景目标点,从背景目标中分割出运动目标。

阈值分割后的图像通常含有噪声,因此需要形态学滤波来衰减噪声。噪声衰减后的图像的运动目标会有一些空孔洞,需要进行连通性处理,最终才能识别出目标。

阈值设置得太低,无法检测目标。如果设置过高,它将被检测为两个单独的对象。

同时,对于颜色相同的大型运动目标,如白色卡车,帧间差分法会在目标上产生空孔洞,无法完整分割提取运动目标。

分离动态目标,识别目标并检测其距离。如果已经处理了动态目标,则将处理静态目标。在封闭的测试场中,只有一个目标,很容易分离背景,只处理静态目标。

在真实道路上,静止目标比运动目标大约晚2到4秒。事故发生时,小鹏P7的时速是80公里,也就是44到88米。

光流法利用图像序列中像素在时域上的变化和相邻帧之间的相关性,寻找前一帧和当前帧之间的对应关系,从而计算出相邻帧之间物体的运动信息。

研究光流场的目的是为了逼近不能直接从图像序列中获得的运动场。它的本质是一个二维向量场,每个向量代表场景中的点从上一帧到下一帧的位移。光流的解法是输入两幅连续的图像(图像像素),输出二维矢量场。

除了智能驾驶,还可以用于体育比赛中各种球类运动的轨迹预测,军事行动中的目标轨迹预测。

光流场是运动场在二维图像平面上的投影。因为立体双目和激光雷达是3D传感器,而单目或三目是2D传感器,所以很难制作单目或三目光流。

光流有两种:稀疏稠密(稠密)。稀疏光流计算一些特征点,而密集光流针对所有点的偏移。

最常见的光流算法是KLT特征跟踪。早期的光流算法是稀疏光流、手动模型或传统算法。

2015年有人提出深度学习光流法,并在CVPR2017发表了改进版FlowNet2.0,成为当时最先进的方法。到目前为止,FlowNet FlowNet2.0 仍然是深度学习光流估计算法中引用率最高的论文。

传统算法消耗的计算资源少,实时性好,均衡效果好,但鲁棒性不好。

深度学习消耗大量计算资源,鲁棒性好,但容易出现极端,即一个场景很差,但无法解释,与训练数据集高度相关。

即使是强大的NVIDIA Orin芯片也无法在FlowNet2.0上实现实时性能,毕竟Orin不可能只做光流。

光流法比帧差法更精确,但会消耗大量的计算资源。

02

4D毫米波雷达会漏检吗?

四种毫米波雷达的性能比较

目前典型的76GHz毫米波雷达带宽为500GHz。

大多数毫米波雷达的带宽为500MHz,即0.5GHz,目标间距为150 cm。

也就是说,1.5米内的两个目标将被毫米波雷达识别为一个——小鹏P7的这起事故也是如此。车辆离混凝土护栏很近,很可能被认为是目标。

特斯拉最近也在研发毫米波雷达,带宽应该是500MHz。世界上最先进的4D毫米波雷达,大陆汽车公司的ARS540也是500MHz。

博世尚未量产的4D毫米波雷达为867MHz,比特斯拉和mainland China都要好。缺点可能是功耗太高,射频输出功率达到惊人的5495毫瓦。总功耗估计为30-60瓦。

ARS540的射频输出功率为1143毫瓦,整体功耗约为10瓦。对于一个一直开着的传感器来说,功耗似乎太高了。

然后就是这样一个事实,虽然60GHz以上的频段不需要牌照,但是1GHz以上的带宽可能还是要管制的。在没有明确的政策出台之前,业界是不敢发展这种高带宽雷达的,如果禁止了,那就白发展了。

因为目标分离的问题,我估计为了避免误操作,厂商可能不敢单独用4D毫米波雷达作为AEB的触发条件,但必须是目视。

除了固定目标的原因,这次在小鹏P7事故之前,受害者走到了车尾。这就形成了一个非常罕见的目标,既像汽车又像行人。在这种情况下,会有漏检。

[S2/]03

基于单目和三用机器视觉,有天然的缺陷

基于单目或三脚架视觉的机器视觉有一个天然的、不可改变的缺陷,表现为识别或分类与检测是一体的、不可分割的,尤其是基于深度学习的机器视觉。

也就是说,如果系统无法对目标进行分类(或者通俗地说就是识别),就无法对其进行探测。

换句话说,如果系统不能识别目标,就认为该目标不存在。车辆会认为前方没有障碍物,不减速直接撞上去。

什么情况下是认不出来的?

有两种情况:

首先是训练数据集不能完全覆盖现实世界中的所有目标。覆盖10%就很优秀了,更何况现实世界无时无刻不在产生新的不规则目标。

这种穷举法的深入研究有致命的缺陷。特斯拉的很多事故都是如此,比如中国高速公路上的两辆追尾扫地车(第一次致人死亡),美国的很多追尾消防车。

二是图像缺乏纹理特征。比如一张白纸放在摄像头前,物体自然无法识别。有些底盘很高的大货车侧面就跟白纸一样。基于深度学习的机器视觉此时就像一个盲人,不减速直接撞向他们。

在以深度学习为核心的机器视觉中,包围盒是关键元素。

在检测任务中,我们需要同时预测物体的类别和位置,因此需要引入一些与位置相关的概念。通常,对象的位置由边界框来表示,边界框是一个可以刚好包含对象的矩形框。

对于单目和三目,其机器视觉如下:

立体眼睛呢?

双目可以准确地识别中央隔离带。不管用多深的学习,单目,虚拟双目,单目,三目,在这个没有大面积空洞的纹理特征的汽车侧面和车顶的图像面前,就跟瞎子一样什么都看不见。

其实特斯拉也发生过撞上中央隔离带导致死亡的事故。

双目视觉的过程如下:

最后输出可以驱动空 (自由空间),和单目、三尖完全不同。不需要识别,自然也不需要画包围盒

双目也有缺点,比如计算量太大。当然,眼睛不需要AI操作。

虽然目前只有奔驰和丰田使用Nvidia处理器处理立体双目,除了RIVIAN之外的造车新势力都没有使用立体双目(小鹏和小米未来可能会使用立体双目),但是Nvidia在每次硬件升级中总是特别重视立体双目。

Nvidia的立体双目处理流程需要各种计算资源的参与,包括VICGPU (CUDA)、CPU P

为了达到每秒30帧,处理时间必须少于30毫秒。考虑到后端决策控制系统的延迟,处理时间必须小于20ms。

在1下采样的情况下,显然无法满足30帧的要求。

4下采样,没有信心图,可以满足OFA一个人。加入信心图后,需要OFA/PVA/维克联手,也能满足30帧的要求。但是当这个只有200万像素时,300万像素的估计就不能满足了。

奔驰的立体双目是170万像素,所以输出视差图的边缘精度不会太高,有效距离也不会太远。如本文开头所述,估计能慢下来,但很难停下来,反应时间也不够。

可以说,除了立体双目系统,小鹏P7事故等奇怪的目标也会被错过。

04

激光雷达能避免这种事故吗?

那么,安装激光雷达会避免这起事故吗?

恐怕不行。

目前主流的激光雷达也是基于深度学习的。纯深度学习视觉遇到的问题,激光雷达也会遇到。如果不能识别,就画不出包围盒,就以为前面什么都没有,不减速撞上去。

主流激光雷达算法经历了三个阶段:

第一阶段是PointNet

第二阶段是体素

第三阶段是 PointPillar

PointPillar使用2D脊线代替Z轴切割,导致其精度下降。与纯2D视觉相比,其性能并没有明显的提高。这就是特斯拉不用激光雷达的原因。

然而,不依赖于深度学习的可解释的多线激光雷达算法尚未发表。博世、奔驰、丰田都在研究,这将是一个漫长的过程。

深度学习太好用了,不到半年,一个普通大学生就能熟练调整参数。

深度学习淘汰了几乎所有的传统算法。

目前很少有人研究激光雷达的传统算法,比如激光雷达的强度成像。

目前智能驾驶最关键的问题是过于依赖没有解释的深度学习,或者深度神经网络,也就是俗称的AI——可能导致无人驾驶永远无法实现。

标签:, ,

相关推荐

苹果深夜模式怎么开?苹果深夜模式两用壁纸怎么设置?

苹果深夜模式怎么开?苹果深夜模式两用壁纸怎么设置?

苹果深夜模式怎么开?苹果深夜模式两用壁纸怎么设置?今天被大家的关注度非常高,为了方便大家了解相关知识,77010百科网为大家准备了完整关于该事情的所有相关内容,大家可以一起来看看具体都是怎么回事吧。

深度 6 2023-02-03 16:23:35
qq群怎么换群头像?qq群群主怎么转让?

qq群怎么换群头像?qq群群主怎么转让?

qq群怎么换群头像?qq群群主怎么转让?今天被大家的关注度非常高,为了方便大家了解相关知识,77010百科网为大家准备了完整关于该事情的所有相关内容,大家可以一起来看看具体都是怎么回事吧。

深度 4 2023-02-03 16:23:33
qq群定时消息怎么发?qq群定时消息最多几条?

qq群定时消息怎么发?qq群定时消息最多几条?

qq群定时消息怎么发?qq群定时消息最多几条?今天被大家的关注度非常高,为了方便大家了解相关知识,77010百科网为大家准备了完整关于该事情的所有相关内容,大家可以一起来看看具体都是怎么回事吧。

深度 6 2023-02-03 16:23:32
qq使用年限在哪看?qq使用年限是多少年?

qq使用年限在哪看?qq使用年限是多少年?

qq使用年限在哪看?qq使用年限是多少年?今天被大家的关注度非常高,为了方便大家了解相关知识,77010百科网为大家准备了完整关于该事情的所有相关内容,大家可以一起来看看具体都是怎么回事吧。

深度 5 2023-02-03 16:23:31
qq空间怎样不显示手机型号?qq空间怎么设置三天可见?

qq空间怎样不显示手机型号?qq空间怎么设置三天可见?

qq空间怎样不显示手机型号?qq空间怎么设置三天可见?今天被大家的关注度非常高,为了方便大家了解相关知识,77010百科网为大家准备了完整关于该事情的所有相关内容,大家可以一起来看看具体都是怎么回事吧。

深度 5 2023-02-03 16:23:29
qq申请注销后多久成功?qq申请注销后还能登录吗?

qq申请注销后多久成功?qq申请注销后还能登录吗?

qq申请注销后多久成功?qq申请注销后还能登录吗?今天被大家的关注度非常高,为了方便大家了解相关知识,77010百科网为大家准备了完整关于该事情的所有相关内容,大家可以一起来看看具体都是怎么回事吧。

深度 5 2023-02-03 16:23:27
qq群聊头衔怎么设置?qq群聊头衔怎么设置特效?

qq群聊头衔怎么设置?qq群聊头衔怎么设置特效?

qq群聊头衔怎么设置?qq群聊头衔怎么设置特效?今天被大家的关注度非常高,为了方便大家了解相关知识,77010百科网为大家准备了完整关于该事情的所有相关内容,大家可以一起来看看具体都是怎么回事吧。

深度 6 2023-02-03 16:23:26
iphone怎么改设备名?iphone改名称后仍显示原来的怎么回事?

iphone怎么改设备名?iphone改名称后仍显示原来的怎么回事?

iphone怎么改设备名?iphone改名称后仍显示原来的怎么回事?今天被大家的关注度非常高,为了方便大家了解相关知识,77010百科网为大家准备了完整关于该事情的所有相关内容,大家可以一起来看看具体都是怎么回事吧。

深度 5 2023-02-03 16:23:24
桌面时钟怎么弄到桌面?桌面时钟怎么改时间?

桌面时钟怎么弄到桌面?桌面时钟怎么改时间?

桌面时钟怎么弄到桌面?桌面时钟怎么改时间?今天被大家的关注度非常高,为了方便大家了解相关知识,77010百科网为大家准备了完整关于该事情的所有相关内容,大家可以一起来看看具体都是怎么回事吧。

深度 4 2023-02-03 16:23:21
微信背景黑色怎么更改?微信怎么设置主题皮肤?

微信背景黑色怎么更改?微信怎么设置主题皮肤?

微信背景黑色怎么更改?微信怎么设置主题皮肤?今天被大家的关注度非常高,为了方便大家了解相关知识,77010百科网为大家准备了完整关于该事情的所有相关内容,大家可以一起来看看具体都是怎么回事吧。

深度 5 2023-02-03 16:23:19