天翼雲大數據斬獲中國電子學會科技成果鑑定會權威認證

近日,中國電子學會在北京隆重召開科技攻關項目成果鑑定會。鑑定委員會一致認爲:天翼雲大規模分佈式大數據計算平臺研發項目涉及的大數據存儲、計算、調度等一系列關鍵技術,複雜度高、研製難度大、創新性強,總體技術達到國際先進水平,其中分佈式存儲元數據兩層視圖管理等關鍵技術指標達到國際領先水平。

此次成果是天翼雲大數據與彈性存儲兩大產品線聯合攻克大數據底層一系列關鍵技術難題的結晶。目前,這些技術創新成果不僅有效支撐了全國多個省份電信公司的IT及業務上雲工作,還在數據要素、政務大數據平臺、城市大腦等行業領域實現了廣泛應用,爲行業的數字化轉型注入了新的動力。

在計算引擎核心方面,通過將Spark runtime層替換成Native runtime層,提供了高效的內存管理、數據交換處理能力;將算子改成native實現,並利用SIMD技術加速核心算子處理能力;深度完善基於規則和代價優化的機制,提升引擎的處理效率。相比開源Spark新版本性能提升1.2倍以上。

在調度引擎核心方面,設計分區同步共享狀態的分佈式調度架構替代傳統的單調度器、集羣聯邦方式,更好地解決了集羣規模可擴展性、調度效率、調度質量、公平性和優先級、資源利用率等多方面的矛盾,性能及規模較開源相比分別提升了3倍和1.5倍,實現了國內領先的調度速度和單集羣1.5萬臺的規模。多調度器共享整個集羣狀態,保證任務調度結果的全局最優性;通過資源分區方式,多調度器對不同的資源分區並行調度,提升了可支持的集羣規模及調度系統的吞吐量;採用資源分區輪詢方式,避免出現調度結果與資源分區的緊耦合,實現最優的任務調度;同時,基於單體調度器增加了多調度器協調工作能力,保障了調度結果的唯一性,避免出現資源衝突導致的調度失敗。

在存儲引擎核心方面,天翼雲團隊結合高性能存儲技術,不僅解決了海量文件管理的難題,還大幅提升了數據可靠性及性能。依託採用全自研L-RDMA協議,計算節點與存儲節點RDMA全互聯,實現了“高性能、低成本”的軟硬協同的統一大數據存儲底座。在達到100萬IOPS時,時延依然保持在亞毫秒級,單併發寫時延達到70us。這一創新成果不僅提升了存儲效率,還爲大數據處理提供了更穩定、更可靠的支持。

此次項目獲得中國電子學會科技成果鑑定會的認可,不僅彰顯了天翼雲在大數據領域的卓越技術實力和創新精神,也爲行業發展樹立了新的標杆。未來,天翼雲將繼續堅持科技創新,不斷推動大數據和雲計算技術發展,爲千行百業數字化轉型貢獻更多新質生產力,爲數字經濟高質量發展注智賦能。



Scroll to Top