港口外來有人集卡的車輛狀態信息對於港口作業安全管理以及對於港內無人集卡高效、安全的運行至關重要。而當前港口對於外來集卡的位置、速度等信息的獲取始終缺乏有效手段。傳統最常見的方式是通過外來集卡車輛自身GPS信息來掌握車輛在港狀態,而港口內的港機設備、集裝箱等鋼結構物體對於信號的遮擋、干擾非常大,使得這些信息基本無法使用。針對行業的需求,中國移動上海產業研究院(以下簡稱“中移上研院”)將車路協同的概念引入至港口,藉助AI感知檢測技術能力,通過路側相機來對港內外來集卡實現有效的位置、軌跡等識別檢測,目前已協同中交建振華重工等行業合作伙伴在媽灣港、廣州南沙港、陽邏港等地進行了技術落地驗證。
AI大模型or小模型選擇
在車輛的識別檢測應用方面AI小模型技術表現尚可,但實地應用時發現,不同的港口作業環境差異大,同時港口內除了集卡車輛,還存在港機設備、工程車輛等類型車輛,交通元素類型多,傳統的小模型泛化能力低,難以實現不同場景下的規模化落地,且不同項目需要重新收集數據集進行訓練,成本高,交付週期長。而大模型在部署時對於算力要求高,同時大模型計算的時延相較小模型來說也因爲參數的提升而變高,這對於需要在港口本地化部署且響應時間有要求的場景來說並非最佳選擇。因此,權衡大小模型各自優劣後,中移上研院提出通過大模型知識蒸餾技術,同時對交通大模型和小模型進行訓練,將大模型的複雜知識遷移到小模型上,使小模型的性能儘可能接近大模型,提高小模型的性能和泛化能力,實現模型在港口端側的部署。
交通大模型增強感知效果
利用交通大模型與小模型結合能力來對港口內的交通目標進行檢測識別已在媽灣港、廣州南沙港、陽邏港等地完成了部署驗證,支持對帶箱/空掛無人集卡、帶箱/空掛有人集卡、輪胎吊、堆高機等多類港口交通元素實現感知識別,其中在對有人集卡的識別準確率上已超98%,極大提升了模型感知效果。
交通大模型的應用除了提升感知識別能力上,目標跟蹤定位的感知能力也得到了極大提升。重點表現在連續幀中正確匹配同一目標車輛的能力的提升,規避了誤檢和漏檢的發生,以及軌跡一致性上的提升,大模型在長時間內保持目標車輛軌跡一致性的能力。目標的跟蹤可以幫助用戶更有效的實現港內交通監管以及決策規劃。例如在與中交振華合作過程中,通過利用交通大模型能力向其無人集卡車輛提供全場有人集卡的位置軌跡信息,來幫助無人集卡車輛更好地實現安全避讓、任務路徑高效規劃。
未來,中移上海產業研究院將繼續與行業夥伴加強交通大模型在港口細分領域的能力創新應用合作,進一步打造場景解讀、交通決策等應用,使交通大模型從輔助生產最終實現參與生產,助力港口細分領域的智慧化發展。