DTCC2024前瞻:天翼雲數據庫專家共話TeleDB發展藍圖

數據庫是IT基礎設施領域重要的組成部分,天翼雲緊跟數據庫行業技術方向與創新趨勢,強化核心技術的自研實力,助力企業釋放數據價值。在8月22日-24日的第15屆中國數據庫技術大會(DTCC2024)上,天翼雲數據庫首席技術官李躍森將發表《天翼雲在數據庫領域的探索和實踐》精彩演講,爲業界帶來前沿洞察與寶貴經驗分享。

大會召開前夕,我們特別邀請了三位重量級嘉賓:天翼雲數據庫首席技術官李躍森、天翼雲數據庫產品線總監葉小朋,以及天翼雲資深研發專家魏興國,共同開啓一場深度對話,圍繞天翼雲分佈式數據庫的發展歷程、產品佈局、探索實踐,以及TeleDB數據庫的未來展望等內容進行深入探討。

以下內容根據對話整理,篇幅有刪減:

ITPUB:您在DTCC的演講主題是“天翼雲在數據庫領域的探索和實踐”,爲什麼選擇這個主題?該演講能夠爲聽會者帶來哪些收益?

李躍森:天翼雲數據庫自2012年啓動研發,到目前經過了12年的發展。在這個過程中,我們實現了電信集團核心業務系統數據庫的全量替換,也助力中國電信成爲了全球 第一家實現數據庫自主可控的運營商。

在穩健前行的同時,天翼雲TeleDB也在積極拓寬視野,深耕外部市場,現已覆蓋到政務、央企、國企、互聯網等千餘家外部行業客戶。這些領域對數據庫的穩定性和性能有着近乎苛刻的標準,而正是這樣的挑戰,鑄就了我們堅實的技術壁壘與豐富的實戰經驗。

我們希望在DTCC的分享中,可以讓更多的從業者瞭解到天翼雲數據庫在自主研發方面的最新成果和進展,以及我們團隊在面對自主研發道路上重重挑戰時,如何憑藉核心技術的自主研發能力去面對和克服挑戰,從而實現技術引領與產業升級的雙重飛躍。

ITPUB:有哪些行業洞察或技術挑戰促使了天翼雲TeleDB的誕生?TeleDB最初的設計理念和目標是什麼?

魏興國:傳統小型機+集中式數據庫的軟硬件模式,是一個封閉的技術體系,難以水平擴展。基於此,天翼雲在2012年正式啓動了TeleDB數據庫的自研項目,將其應用於中國電信集團內部,解決集團業務快速發展的需求。

在中國電信和天翼雲各級領導的支持和帶領下,我們通過自研以TeleDB爲代表的PaaS組件和PaaS雲平臺,使得中國電信實現了核心IT系統從傳統的煙囪式架構向分佈式雲化架構的跨越式轉型,還確保了核心架構與關鍵組件的自主可控,關鍵技術實現了從依賴外部到自主創新的重大突破。

同時,也構建了一個集一體化管理、全網覆蓋、高度集約化的運營體系,有效提升了整體運營效率與服務質量。

ITPUB:從誕生至今,十年時間裏,天翼雲TeleDB經歷了哪些關鍵的發展階段或轉折點?每一個階段中,有哪些技術或市場的變化對其產生了重要影響?

魏興國:概括來講,TeleDB產品的發展歷程大致可以分爲下述三個階段:

1、初始研發和內部試用階段

第一階段聚焦於TeleDB的初始研發與內部上雲試驗,主要是產品選型、技術研發,以及在覈心繫統試點過程中,解決產品的穩定性與可靠性問題。在這個階段中,我們在架構上研發了一主多從以及強同步模式,來實現數據庫系統的高可用和高可靠。通過高可用數據庫結合中間件的模式,支撐中國電信的海量數據處理需求,並實現了系統的水平擴展。

2、全面推廣與能力提升階段

第二個階段是TeleDB在內部上雲的全面落地,以及在外部推廣中的初試鋒芒。緊隨內部驗證成功後,TeleDB開始在中國電信內部上雲中全面的推廣落地。在這個過程中,團隊重點優化了系統的安全防護、運維效率及靈活擴展能力,實現了大規模部署、運維、安全認證、流量控制、數據加密及彈性擴縮容等關鍵技術突破。同時,TeleDB在天翼雲公有云平臺正式上線,併成功打入政務、物聯網、新能源、醫療等多個行業領域,取得顯著市場成效。

3、技術探索與市場拓展階段

第三階段着眼於數據庫新興技術的深度探索與市場的全面拓展。TeleDB以打造多雲環境下的一站式智能化雲原生數據服務爲願景,團隊在雲原生分佈式、存算分離、混合負載等前沿技術領域持續發力,不斷完善產品矩陣。市場拓展方面,TeleDB持續深耕,成果豐碩,進一步鞏固和擴大了市場份額。

ITPUB:在TeleDB的發展過程中,天翼雲曾遇到過哪些挑戰?又是如何克服這些挑戰的?

李躍森:天翼雲TeleDB歷經十多年的發展,面對多樣化的技術環境和挑戰,我們始終勇往直前。我將從三大維度來剖析天翼雲如何克服挑戰,並推動TeleDB不斷前行。

一、技術架構與核心能力的革新

從數據庫技術架構上來講,傳統集中式數據庫難以承載國內海量數據的管理需求。在此背景下,我們在2012年前後,選擇基於分佈式中間件加分庫分表的方式,來滿足快速增長的業務和數據。

然而,隨着業務規模的擴大,中間件架構的侷限性逐漸顯現,如業務改造量大、集羣可靠性及事務處理能力不足、多表關聯查詢、還有備份恢復一致性等問題。爲此,我們創新性地提出了基於原生分佈式架構的新一代數據庫方案,在滿足了自身業務需求的同時,也走在了行業的前列。

二、多平臺適應性的突破

TeleDB的數據庫團隊需要同時服務於集團內部和外部客戶,滿足公有云、私有云及專有云等多種部署需求。在底層平臺的適應性方面,TeleDB就需要同時支持多種不同的底層的基礎設施。

然而,多樣化的底層基礎設施無疑爲上層業務增加非常大的複雜度。一方面,會增加我們團隊的研發的工作量。另一方面,對我們的技術架構提出了前所未有的挑戰。這些問題曾一度對我們的研發進度造成不小的困擾。

爲了解決這些問題,我們規劃並研發了天翼雲數據庫生命週期管理平臺(DCP),構建了一個跨雲的多平臺的數據庫全生命週期管理能力,確保了服務的一致性和高效性,極大地降低了技術複雜度,提升了團隊研發效率,爲客戶提供了更加靈活、可靠的服務體驗。

三、商業化路徑的探索

在商業化進程中,我們深刻感受到“酒香也怕巷子深”的道理。儘管TeleDB已在運營商、政務等領域深耕多年,但如何進一步擴大市場影響力,服務更廣泛的客戶羣體,成爲我們面臨的新挑戰。

因此,我們加大產品宣傳力度,通過多渠道講述TeleDB的產品故事,提升品牌知名度與行業影響力。同時,持續優化產品功能,確保TeleDB在激烈的市場競爭中保持領先地位。

綜上所述,天翼雲數據庫的投入是堅決而巨大的,我們團隊裏面既有電信領域的資深專家,也有來自行業的新鮮血液。天翼雲TeleDB在技術創新、平臺適應性和商業化探索方面均取得了顯著成就。

ITPUB:本次演講您將揭祕TeleDB的最新突破,能否提前透露一兩項技術創新點?這些創新將如何改變數據庫行業的格局或提升用戶體驗?

李躍森:天翼雲TeleDB持續深耕數據庫核心技術,自主創新能力顯著,並已廣泛部署於集團內部的核心繫統,有效應對了海量數據挑戰。以某省級電信公司爲例,其月數據處理量超1000億條,規模堪比中型銀行及大型互聯網APP。面對如此規模的數據和併發需求,TeleDB首要任務是解決海量併發場景下的技術難題。下面,我將通過幾個關鍵技術突破,分享TeleDB的應對策略。

1、TeleDB RDA:解決重分佈場景的進程數暴增

TeleDB引入了革命性的遠程數據訪問技術RDA(Remote Data Access),專爲解決分佈式關聯查詢中資源佔用過高問題而設計。在典型的匯聚庫場景中,本質是一個HTTP負載的系統,裏面混合了70%的OLTP與30%的OLAP負載,處理複雜的關聯查詢成爲一大挑戰。

傳統解決辦法是通過疊加進程和資源的方式,來實現多節點數據的並行計算,但效率低下,資源消耗巨大。引入了RDA技術之後,通過高效的網絡與計算資源複用,可以顯著降低資源佔用,將連接數從萬級降至百級,極大提升了系統可靠性和穩定性。

2、TeleDB DDS:實時分佈式死鎖處理

死鎖檢測是數據庫核心能力的關鍵一環,檢測的效率和資源佔用直接影響業務穩定性。尤其在一些核心系統裏,死鎖檢測對於系統的平穩運行起到至關重要的作用。在分佈式系統中,事務跨節點運行涉及多個節點的協調運行,加劇了死鎖檢測的複雜性。傳統體外檢測方式不僅資源佔用高,且檢測週期長、效率低。

爲此,TeleDB開發了死鎖檢測算法DDS(Distribute Dependency Spread),實現了實時死鎖檢測與快速解鎖。DDS能在集羣運行態下秒級響應,檢測效率與資源利用率均大幅提升,CPU佔用率降至傳統方法的四分之一,爲分佈式事務處理帶來了革命性變化。

3、TeleDB Global Cache:最大化內存資源利用率

針對高負載系統,TeleDB引入了全局緩存技術,對執行計劃緩存和元數據緩存實施統一管理。在大型系統中,單個節點緩存可達50GB以上,佔用大量內存資源。通過全局緩存優化,系統整體內存使用率降低了53%,不僅提升了系統的利用率,還顯著增強了穩定性。

當然,上述三個技術僅是TeleDB在數據庫自主研發領域衆多研發技術中的一部分。我們致力於通過持續的技術創新,推動國產數據庫的國產化和自主可控進程,期待與業界同仁攜手共進,共創輝煌。

ITPUB:在追求最新技術的同時,TeleDB在性能優化和穩定性保障方面有哪些具體措施和成果?能否舉例說明這些改進在實際應用中的效果?

魏興國:在數據庫領域,性能與穩定性是奠定卓越服務基石的關鍵要素。TeleDB在這兩方面展現出了卓越的實力,通過一系列精心設計的策略與措施,確保了產品的行業領先地位。

性能方面,TeleDB產品通過了中國信息通信研究院(信通院)的可信數據庫系列測試,特別是在分佈式事務型數據庫的基礎性能上,其各項指標均處於行業內的優秀水平。這一成就不僅彰顯了TeleDB在處理複雜業務場景時的高效能力,也進一步鞏固了其在市場中的競爭力。

穩定性方面,TeleDB通過了工信部電子一所的嚴苛測試,涵蓋穩定運行、故障切換、容災能力、容錯性等多個維度,覆蓋了數十個相關用例及數百個考察點。值得一提的是,TeleDB在極高TPC壓力環境下連續穩定運行超過七天,全程無異常發生。

在實際應用中,TeleDB在中國電信全網系統的廣泛應用,是其實力與價值的最 佳體現。通過持續的迭代優化,TeleDB助力中國電信核心IT系統實現了全面上雲,不僅承載了核心系統業務,還廣泛應用於超過3000個應用系統,累計服務用戶超七億,承載的收入超過4000億元。

此外,TeleDB的應用還帶來了顯著的經濟效益,綜合成本降低了30%,效率最高提升了十倍,實現了降本增效的顯著成果。

綜上所述,TeleDB通過全方位的性能優化與穩定性保障措施,爲用戶提供了高效、安全、可靠的數據庫服務。其卓越的性能表現與長期穩定的運行能力,贏得了市場的廣泛認可與高度評價。

ITPUB:隨着國家對信息技術應用創新的重視,天翼雲TeleDB在國產化能力建設方面有哪些具體佈局和成果?這對於保障國家信息安全有何重要意義?

葉小朋:歷經十年磨鍊,天翼雲自研TeleDB數據庫沉澱了種類齊全的系列產品,形成了一個安全可靠、極致彈性、金融級高可用、AP/TP混合負載四大核心能力,沉澱了上雲、用雲、管雲等一站式國產化數據庫替代的解決方案。

在“上雲”與“管雲”方面,我們推出了數據庫全生命週期管理服務DCP、數據傳輸服務DTS及數據庫管理服務DMS,徹底消除了客戶在上雲與管雲資源過程中的煩惱。

而在“用雲”方面,我們則推出了企業級集中式與分佈式關係型數據庫,完美兼容MySQL與PostgreSQL等主流開源協議,同時推出原生分析型數據庫,輕鬆應對海量數據的複雜關聯查詢挑戰。

整體而言,TeleDB已具備全面替代大型商用數據庫軟件的能力,且在國產化適配方面走在了行業前列。我們廣泛兼容國產熱門芯片、操作系統及中間件,構建了從底層到上層的全棧國產化解決方案。

鑑於數據安全在國家信息安全中的核心地位,TeleDB憑藉其全站國產化適配能力,率先助力中國電信等關鍵領域實現核心IT系統數據庫的國產化替代,並廣泛賦能各行各業,提供既經濟高效又保障數據安全的國產化替代方案。

此舉不僅有效降低了對國外數據庫的依賴,減少了供應鏈中斷風險,還確保了數據在本土的存儲與處理,有力維護了國家數據主權,降低了數據泄露的風險。

ITPUB:生態層面,天翼雲TeleDB如何與上下游產業鏈夥伴合作,共同構建完善的國產化生態體系?

葉小朋:在生態層面,TeleDB正積極引領並深化國產化生態體系的全方位建設,具體體現在四大核心策略上:國產化與生態適配、開源合作與社區共建、人才培養與交流深化,以及技術創新與前沿突破。

一、國產化與生態適配

天翼雲創立了聯合創新實驗室,旨在促進國產芯片、操作系統、中間件及應用廠商等全產業鏈夥伴的深度融合。通過高效適配工作,已實現與超過300家廠商的互認證適配,不僅榮獲了上海軟協信創工委會的信創產品權威認證,更有兩款明星產品入選國家信創圖譜,彰顯了TeleDB在國產化生態中的堅實地位。

二、開源合作與社區繁榮

TeleDB積極擁抱開源文化,與PostgreSQL(PG)、OpenTenBase、TiDB等開源社區緊密合作,共享技術成果,共同推動數據庫技術的創新發展。近期,我們榮獲了PG社區頒發的“數據庫最 佳產品獎”,並順利通過了中國信通院關於分佈式事務型數據庫的嚴格測試,包括基礎測試能力與性能測試的雙項認證。

此外,天翼雲還榮幸地成爲數據庫應用創新實驗室金融行業工作組的首批共建單位,進一步拓寬了技術合作與交流的邊界。

三、人才培養與知識交流

爲構建可持續發展的技術生態,天翼雲建立了系統化的人才培養體系,爲合作伙伴及行業內外人士提供專業培訓與技術支持。截至目前,已爲數據庫運維與開發領域的專業人才頒發了涵蓋天翼雲數據庫及TeleDB數據庫的系列認證證書,覆蓋4家服務商與200位工程師,遍佈全國31個省市,有效提升了區域化運維交付能力。

四、技術創新與前沿突破

TeleDB持續加速關鍵技術自主攻關,在自研數據庫領域實現了包括雲原生架構、分佈式事務處理、AP/TP混合負載在內的多項技術飛躍。這些成就不僅斬獲了國內外多項權威認證,還累計獲得了151項核心技術專利,彰顯了TeleDB在技術創新方面的強勁實力與前瞻視野。

ITPUB:展望未來,天翼雲對於TeleDB及整個自研數據庫產品線有哪些長遠的發展規劃?

葉小朋:過去一年中,人工智能技術與相關產業呈現井噴式發展。面向未來,天翼雲TeleDB數據庫的技術與產品將緊密圍繞三大趨勢進行演進:融合化、雲原生、智能化。

一、融合化

走向融合,主要指的是建設單機分佈式一體化,打造AP/TP級向量搜索的超融合解決方案,爲用戶提供一站式、無縫切換的數據庫體驗。

二、雲原生

在雲原生領域,TeleDB將持續深化Service Mesh無服務化架構的應用,實現計算與內存資源的按需、無縫擴縮容。用戶可根據實際業務負載,輕鬆啓動、關閉或動態調整資源,享受前所未有的靈活性與便捷性。

三、智能化

面向AI時代,TeleDB將構建多引擎的數據庫自動駕駛平臺,利用先進的AI技術賦能數據庫運維與管理,開啓數據庫智能時代的新質生產力。它將作爲PaaS基礎設施的關鍵組成部分,不僅提供強大的向量搜索引擎支持,還深度融入AI產業鏈,推動AI技術的廣泛應用與普及。

ITPUB:您怎樣看待DTCC大會?對於DTCC您有哪些想說的?

葉小朋:首先,感謝DTCC爲數據庫技術從業者搭建了一個高質量的交流平臺,促進了知識的深度分享與技術的廣泛傳播。去年,我有幸以演講嘉賓及觀衆的雙重身份全程參與了DTCC大會,不僅分享了天翼雲作爲雲服務國家隊在數據庫領域的探索成果與突破性進展,還深入學習了衆多數據庫領域大咖的前沿技術分享,收穫頗豐。

其次,我衷心希望DTCC能夠持續聚焦並大力支持國產數據庫的發展,不斷將這一平臺做大做強,成爲連接國產數據庫廠商、上下游產業鏈夥伴及廣大技術愛好者的堅實橋樑。

最後,我想借助DTCC平臺,向所有關注和支持DTCC技術大會的同仁們說一句:天翼雲TeleDB正處於高速發展中,未來將不斷加速關鍵核心技術攻關,持續深耕數據庫領域,致力於以業界領先的數據庫產品及解決方案,爲企業上雲、用數賦智提供強有力的支撐。同時,我們也熱切期待行業內的優秀人才的加盟,與天翼雲攜手並進、科技報國、共鑄國雲。



Scroll to Top