01 引言

隨著自動駕駛技術的飛速發(fā)展，仿真測試已成為替代成本高昂且充滿風險的道路測試的關鍵環(huán)節(jié)。它能夠在虛擬環(huán)境中模擬各種復雜的交通場景和少數(shù)天氣，極大地加速了自動駕駛系統(tǒng)的開發(fā)與驗證進程。然而，一個常被忽視的問題正悄然侵蝕著仿真測試的可信度——非確定性，即仿真測試過程中因核心引擎或其他因素導致的隨機性。

圖1 aiSim多傳感器融合示例

目前，許多市面上的仿真軟件，尤其是基于游戲引擎開發(fā)的平臺，其核心設計目標之一是高效地為玩家提供充滿驚喜和變化的娛樂體驗。這種內(nèi)在的隨機性，在游戲世界里是優(yōu)點，但在嚴謹?shù)钠嚋y試領域，卻是一個致命的缺陷。

想象一下在仿真測試過程中，工程師精心設置了所有參數(shù)——車輛速度、行人軌跡、天氣狀況、傳感器配置——期望能穩(wěn)定復現(xiàn)一個特定的危險場景。然而，每次點擊“開始"，結(jié)果卻不盡相同：第一次，車輛避讓；第二次，發(fā)生了輕微碰撞；第三次，又安然無恙。這或許并非是算法時好時壞，而是仿真環(huán)境本身在“搖擺不定"。

02 隨機性的前因與后果

Greg等人研究指出，基于游戲引擎的仿真環(huán)境，其隨機性并非偶然，而是源于其底層架構(gòu)的諸多方面：

（1）資源負載與調(diào)度：系統(tǒng)CPU/GPU的負載波動，會直接影響物理引擎的計算時機和順序，導致即使輸入相同，輸出的軌跡也會產(chǎn)生高達數(shù)十厘米的偏差。

（2）物理引擎的“模糊"處理：為了實時渲染流暢的畫面，游戲引擎在處理物體碰撞等復雜物理交互時，往往采用近似計算。這種不精確性在一次碰撞后會被急劇放大，甚至影響到場景中其他未參與碰撞的物體，造成全局性的結(jié)果污染。

（3）多線程與并行計算：為了效率，引擎會將任務分配給多個線程并行處理，但線程完成的順序并非每次都固定，這種執(zhí)行順序的微小變化，會像蝴蝶效應一樣，最終導致仿真結(jié)果的巨大差異。

這種隨機性帶來的問題是災難性的：

（1）問題無法追溯：當測試中出現(xiàn)問題，工程師無法穩(wěn)定復現(xiàn)它，也就無從定位和修復缺陷，極大地增加了調(diào)試成本和時間。

（2）結(jié)果失去可信度：如果仿真結(jié)果不穩(wěn)定，如何相信它所提供的安全驗證報告？這會給自動駕駛系統(tǒng)的安全性帶來“偽證"，造成虛假的安全感。

（3）測試覆蓋率失效：隨機性使得精確控制測試用例、確保覆蓋所有關鍵場景變得不可能。

歸根結(jié)底，對于自動駕駛這種安全至上的系統(tǒng)，測試必須是科學、嚴謹且可重復的。因此，一個具備高度確定性、一致性的仿真平臺，是所有有效測試的絕對前提。

03 確定性的驗證——以aiSim為例

為了驗證一個仿真平臺的確定性，最直接的方式便是確保各項參數(shù)不變的情況下進行重復仿真，對輸出的仿真數(shù)據(jù)進行最直接的比較，判斷是否存在差異。

例如，第一個獲得ISO 26262 ASIL-D認證的AD/ADAS仿真測試軟件aiSim，它構(gòu)建了有特色的仿真內(nèi)核，摒棄了游戲引擎中那些為“體驗"而犧牲“精確"的設計。為了驗證aiSim的確定性，我們進行了一系列重復性實驗。

1、傳感器選型與配置

圖2 aiSim傳感器配置GUI

通過在GUI中拖放仿真?zhèn)鞲衅?/strong>，我們在仿真車輛中添加了1個帶有目標檢測功能的1920×1080的前置針孔Camera、1個帶有目標檢測功能的前置Radar、1個帶有目標檢測功能的128線頂置LiDAR、1個內(nèi)置IMU、1個內(nèi)置GPS以及1個可以反饋自車狀態(tài)的Vehicle sensor。

圖3 仿真?zhèn)鞲衅鲾?shù)據(jù)示例

2、場景與方法

圖4 仿真場景示例

aiSim本身包含了數(shù)十種城市、郊區(qū)的室內(nèi)、室外場景。本文以真實世界常見的“行泊一體"為例，在一個包含14輛他車的室外停車場環(huán)境（Parking_US-CA_SanJoseAlamitos）中，對主車執(zhí)行了“跟車 -> 切入變道 -> 尋找車位 -> 泊車"的全套連貫動作。

我們在固定的軟硬件環(huán)境下，針對三種典型天氣進行了5輪獨立的重復測試，每一輪測試都記錄了長達1000幀的數(shù)據(jù)，以確保完整與統(tǒng)一。我們將每一輪測試的數(shù)據(jù)與第一次測試的基準數(shù)據(jù)進行精確比對：

晴天 (Sunny)：在Sunny.json配置下，模擬了日光充足的理想泊車環(huán)境。

雨天 (Rainy)：切換至Rainy.json配置，引入了雨水對傳感器性能的干擾。

復雜雪天 (Snowy & Broken Road)：在Snowy.json的預設配置基礎之上，加入了道路老化、標線磨損、路面破損、坑洼等退化元素，將測試環(huán)境推向了極限。

測試過程中，我們記錄了全部傳感器和車輛狀態(tài)數(shù)據(jù)，包括：

視覺數(shù)據(jù) (Camera)：RGBA原始圖像、語義分割圖、目標檢測圖及JSON格式的2D/3D標注框。

雷達數(shù)據(jù) (Radar & LiDAR)：毫米波雷達和激光雷達的點云（LAS v1.4）、目標列表及3D標注框。

車輛自身狀態(tài) (GPS, IMU, Vehicle)：高精度的定位、姿態(tài)、加速度及車輛動力學信息。

圖5 仿真相機輸出圖像類型

我們采用均方根誤差（RMSE）來量化圖像、點云等原始數(shù)據(jù)的細微差異，并對JSON格式的結(jié)構(gòu)化數(shù)據(jù)采用根據(jù)樣本數(shù)值差異個數(shù)進行判定的統(tǒng)計確定性檢驗。

3、驗證結(jié)果

Camera Sensor的RGBA原始圖像、分割圖像、目標檢測圖像均以tga格式輸出，2D Bounding Box、3D Bounding Box均已json格式輸出。通過比較同一環(huán)境、場景下相同幀之間的誤差或差異項，驗證Camera的確定性。

對于tga格式文件，計算所有1000幀圖像所有通道的像素均方根誤差（MSE，Mean Squared Error）。在3類天氣5次測試過程中，RGBA原始圖像、分割圖像、目標檢測圖像的所有通道的像素均方根誤差均為0；

圖6 基于python腳本可視化的彩色圖像、分割圖像、目標檢測圖像均方根誤差結(jié)果

對于json格式文件，比較2D與3D Bounding Box的所有Group的key與value，記錄差異項個數(shù)（Number of Differences）。在3類天氣5次測試過程中，Bounding Box信息（包括位置、姿態(tài)、個數(shù)、類型、id、相對速度、持續(xù)時間、像素遮擋率等）不存在差異項。

圖7 基于python腳本可視化的2D&3D BoundingBox差異項個數(shù)結(jié)果

Radar Sensor輸出json格式的檢測目標相關信息，包括距離、旋轉(zhuǎn)、相對速度、id、類型等，因此與相機的Bounding Box一樣，記錄差異項個數(shù)（Number of Differences），結(jié)果也是一樣，不存在差異項。

圖8 基于python腳本可視化的Radar檢測差異項個數(shù)結(jié)果

LiDAR Sensor生成的輸出包括兩種格式的數(shù)據(jù)：LAS格式的3D激光點云和JSON格式的目標檢測數(shù)據(jù)。激光點云數(shù)據(jù)包含每個點的坐標、強度、返回次數(shù)、標識符（ID）等，我們比較內(nèi)部的所有屬性，記錄差異項個數(shù)（Number of Differences）；
對于以JSON格式輸出的目標檢測數(shù)據(jù)，與Camera類似，我們將比較所有Group的鍵（key）與值（value），并記錄差異項個數(shù)（Number of Differences）。最終結(jié)果與前面相同，在3類天氣5次測試之間均不存在差異項。

需要指出的是，由于las文件和檢測到的目標內(nèi)部包含的GPS時間屬性在aiSim中取自系統(tǒng)時間（UTC時間），該項不納入差異比較范圍。

圖9 基于python腳本可視化的LiDAR檢測差異項個數(shù)結(jié)果

GPS Sensor、IMU Sensor以及用于觀測仿真自車狀態(tài)的Vehicle Sensor輸出的均為JSON格式的信息，同樣比較所有Group的鍵（key）與值（value），并記錄差異項個數(shù)（Number of Differences）。對于3類天氣5次測試的GPS、IMU、Vehicle數(shù)據(jù)信息，3類天氣5次測試之間均不存在差異項。

圖10 基于python腳本可視化的GPS、IMU、Vehicle Sensor結(jié)果

04 總結(jié)

在本文設計的傳感器配置與場景中，aiSim的各項傳感器數(shù)據(jù)在固定的參數(shù)配置下，仿真過程與仿真結(jié)果不存在任何差異（除UTC時間）。除了本文提到的傳感器與場景，在其他不同環(huán)境、傳感器配置下的驗證中，aiSim也均表現(xiàn)出了很好的確定性。

在aiSim的仿真世界里，沒有偶然和隨機，只有精確和必然。每一次的測試結(jié)果都真實反映了被測算法的真實能力，每一次的問題暴露都能被穩(wěn)定復現(xiàn)和修正。

參考文獻
1. On Determinism of Game Engines Used for Simulation-Based Autonomous Vehicle Verification