交龙雷达站开源技术报告笔记

以下阐述的是上交的雷达,根据开源技术报告得出。

感谢上交 2021 的雷达开源:GitHub地址

同时阐述 rm2021 上交雷达站对我方雷达的启发。


设备:上相机、左右相机、雷达

雷达三方面:

1、多方位视野。

2、车辆定位。

3、自动决策(我觉得可以先放一放 2021-10-21:其实就是预警

相机传感器类:用于解决传感器-运算端接触不良的情况,即捕获设备异常。然后会持续尝试启动。
会读取上次设计好的相机参数启动。


相机位姿估计https://www.cnblogs.com/singlex/p/pose_estimation_1.html

代码实现:

https://github.com/JoyceKirkland/Shawn_pose_estimation_by_opencv/blob/master/%E7%9B%B8%E6%9C%BA%E4%BD%8D%E5%A7%BF%E4%BC%B0%E8%AE%A11%EF%BC%9A%E6%A0%B9%E6%8D%AE%E5%9B%9B%E4%B8%AA%E7%89%B9%E5%BE%81%E7%82%B9%E4%BC%B0%E8%AE%A1%E7%9B%B8%E6%9C%BA%E5%A7%BF%E6%80%81/main1.cpp

大白话:通过现实中的四个点和这四个点在屏幕中的坐标来计算出相机的现实坐标。

反投影预警类:事先根据规则手册里的小地图高度差、相机位姿估计、相机标定信息,将真实空间中的感兴趣区域在图片中画出来。它只是告诉你装甲板出现了,并不负责解算坐标。

全场定位:真实装甲板坐标的 (x,y,z) 中的 x 与 y 可以通过出现在画面中的坐标(相机坐标)反推出来,z 的高度坐标需要雷达给深度信息才能算出来,由此就可以做到全场定位了。同时对从雷达获取的 z 坐标进行误差处理再进行解算,得到了最后的真实坐标。

PnP四点法:用于计算相机位姿。四点分别为敌方基地顶端,(敌)我方前哨站顶端,以及我方 R0/B0 定位标签的上方两点,这些位置的空间坐标可通过规则手册及小地图等比例缩放计算得到。

反飞镖:我觉得可以暂时先放一放。

2021-10-20:放不了了,飞镖必须要预警,找飞镖门闪烁。


神经网络预测:
双网络设计:主要是为了克服在雷达站整体视野下装甲板尺度较小,受背景干扰较大的问题,若网络输入图片的视野内只有少量车辆,则与自瞄装甲板任务的输入图像类似,则可迁移自瞄的深度学习网络来完成雷达站任务。经试验,经过该方法处理,装甲板预测的准确度和召回率均有显著提高。
第一层:YOLOv5s,dji 官方数据集+ icra 数据集。输出 car 标签结果的 roi 作为第二层网络的输入。
第二层:魔改 YOLOv5s 的 Detect 层网络,使其输出为装甲板四点及装甲板类别,输入尺寸为 256*256 。
输出的装甲板统计频率,选择频率最高的装甲板当作输入时对应车辆的最优装甲板,加上第一层预测出的装甲板一起合并输出。
去重:遍历 id ,选置信度最高的。

【前面在神经网络预测部分提到我们采用了装甲板预测框而不是车辆预测框来和深度图对应,同样是由于深度的突变。若使用车辆预测框,则在图像上方区域,由于单位尺寸深度变化值较大,会有较多的远处背景的深度加入均值运算,导致深度偏大,然后车辆位置被后移,采用装甲板框可以有效减缓该种后移的误差。】


所以自瞄和神经网络预测找车似乎可以同时进行?但问题是装甲板和车怎么对应起来呢?


与裁判系统通信:小地图通信基于官方协议。

UI人机交互:1、基于裁判系统读取,可知比赛开始与结束、血量变化信息。2、视频录制。3、小地图:绘制敌我车辆信息(透视)



结论:我们今年没有激光雷达,很难做出来全场定位的透视挂效果。虽然说用普通工业相机用算法处理测距也不是不能达到雷达的效果,但是这一步要做到精确就需要花费大量时间,因此全场定位今年基本可以放弃,但是反投影可以把功能简化模仿做出来。

我们今年用的是两个工业相机,一个相机用于飞镖预警,另一个相机通过对装甲板的识别来进行飞坡预警和大能量机关击打预警。


发表回复 0

Your email address will not be published. Required fields are marked *