億信華辰

連續3年穩坐商務智能應用榜首

與此同時,億信華辰在數據治理領域榮登五強

首頁新聞動態企業新聞

PetaBase-s實時大數據平臺發布,6大特性擁抱大數據生態

時間:2020-06-02來源:小億瀏覽數:259

近年來,實時大數據快速發展,并扎根于科技金融、車聯網、物聯網、電商、智慧城市等應用場景,創造新的價值。毋庸置疑,數據越實時價值越大,秒級甚至毫秒級的實時流式大數據計算場景層出不窮。并且當下,從數據產生到分析結果的計算,數據時效性對業務的蓬勃發展起到更至關重要的作用。

而針對當前大數據領域分析場景需求各異而導致的存儲問題,億信華辰則提供了一種新的融合數據存儲方案,能融合不同架構的統一數據管理平臺即PetaBase-s實時大數據平臺。與早期的分布式數據庫產品相比,PetaBase-s全面升級為實時大數據平臺。它基于開源Hadoop框架開發,融合MPP、SQL on Hadoop、流處理等大數據技術,支持海量數據的高效儲存和統一管理,為企業決策提供實時的數據支撐。

這些年,我們一直在致力于解決兩個問題:
1)數據量不斷快速增長,期望獲取、處理和存儲要求的時間越來越短;
2)用戶對即時查詢(hoc query)響應的要求越來越高。

在經過近一年緊張有序的開發和大量測試之后,PetaBase-s在功能和性能上都實現大幅度的提升。它就可以解決星形模型、企業數據倉庫以及集成的先進分析混合模型分析等應用場景,從傳統數據倉庫用例到敏捷快速的實時數據智能平臺,PetaBase-s實時大數據平臺都很適合。

△產品架構圖

下面讓我們一起來看看 PetaBase-s 實時大數據平臺都有哪些重要特性:

01全面擴展開源軟件
早期的PetaBase分布式數據庫集成了Hdfs、MapReduce、Impala、Zookeeper、Hive共計5個主流組件,主要面向海量數據集的交互式聯機分析場景。

新版的PetaBase-s實時大數據平臺采用了全新的企業級平臺框架,以開源的Ambari作為平臺統一管理工具,集成了諸多主流開源組件,數量總計近20個。其中包括:YARN(統一資源管理)、HBase(列存NoSQL數據庫)、Spark(快速通用的、基于內存的、分布式的計算引擎)、Kudu(支持單條記錄級別的增刪改查的存儲系統)、Kafka(分布式發布訂閱消息系統)、Flume(分布式的海量日志采集系統)、Sqoop(關系型數據庫與hdoop之間的數據ETL工具)等。

無論你需要處理的數據結構是哪種:地理空間信息、文本、自然語言或是結構化的、非結構化的圖像分析,PetaBase-s都能處理。在海量的非結構化/半結構化/結構化數據集上同時進行離線計算和流式處理,還能滿足高吞吐、大數據量和低時延實時處理等多方面的數據計算要求。

02支持單行記錄級的增刪改查


PetaBase-s實時大數據平臺引入了新的存儲系統——Kudu。Kudu是一個既支持隨機讀寫、又支持 OLAP 分析的大數據存儲引擎。Kudu引擎不但提供了行級的插入、更新、刪除API,同時也提供了接近Parquet性能的批量掃描操作。使用同一份存儲,既可以進行隨機讀寫,也可以滿足數據分析的要求。


03基于流式處理的實時計算功能

PetaBase-s實時大數據平臺集成了Spark引擎,并基于Spark Streaming框架開發了一套可進行實時流計算的功能模塊StreamProcessor。StreamProcessor可以實現高吞吐量的、具備容錯機制的實時流數據的處理。它借助Apache Spark Engine處理微小批量的實時數據,并進行內存計算和處理優化。

另一個顯著特點是用戶可以用SQL書寫數據處理邏輯,比如聚合、關聯、過濾等。它支持Spark SQL語法,這樣用戶能直接使用現有的

查詢技術實時計算流數據。

04支持多種傳輸協議的數據采集

Petabase-s實時大數據平臺添加了對多種數據源的接入支持,可支持OPC、MQTT等數十種傳輸協議,覆蓋從工業物聯網到傳統電子交易的實時采集場景。

PetaBase還提供了基于數據庫日志的采集接口,能支持Oracle、Mysql、PostgresQL、SqlServer等主流rdbms的cdc數據采集,實現聯機交易類的業務數據到大數據平臺的實時同步。

05更加直觀易用的統一運維中心


PetaBase-s實時大數據平臺提供了一致、安全的可視化管理工具。平臺向用戶提供直觀的Web UI以及強大的REST API,特別有利于自動化群集操作。與早期的控制臺相比,新版的控制臺可顯著簡化安裝,配置和管理流程,提供集中式安全設置,增加了對群集健康的可視化監控,并具有高度可擴展性和可定制性。

除此之外,控制臺還提供了對存儲在PetaBase-s中的文件、數據進行訪問管理的IDE。用戶可以在這個IDE中編寫mr,查看修改Hdfs的文件,管理Hive的元數據,運行Sqoop,編寫Oozie工作流等大量工作。

06HTAP(OLAP + OLTP)性能增強


PetaBase-s實時大數據平臺在存儲層增加了LSM存儲模型,LSM(結構化日志合并)樹模型非常適合大規模在線讀寫。新增的存儲模型對用戶是非常友好的,用戶甚至不需要特別關注它。建表時只需要指定表的存儲屬性即可使用LSM模型,之后基于該表的數據操作都和原來一樣的,使用標準sql即可。基于此,LSM表可支持大并發的更改刪除查詢,從而提高整個系統的并發度和吞吐量。

PetaBase-s還對join(關聯)操作進行了優化,減少了數據在網絡交換中的傳輸量。結合查詢優化器帶來的其他優化,PetaBase的OLAP性能得到顯著改進,混合負載業務尤其受益。

小結:作為具有創新性的實時大數據平臺,PetaBase-s能夠幫助各個行業的企業在海量的數據中洞察更多隱藏的商業價值。

在制造業,PetaBase-s能幫助企業利用工業大數據提升制造業水平,例如:產品故障診斷與預測、分析工藝流程、改進生產工藝,優化生產過程能耗等;

金融行業,PetaBase-s在高頻交易和信貸風險分析領域能發揮重大作用;
互聯網行業,PetaBase-s可以協助分析客戶行為,進行商品推薦和針對性廣告投放;
電信行業,PetaBase-s可協助實現客戶離網分析,及時掌握客戶離網傾向,出臺客戶挽留措施;
能源行業,PetaBase-s可以幫助企業掌握海量的能源生產與消耗信息,分析用戶行為模式,改進基礎設施運行,合理設計能源需求響應系統,確保生產安全等;
物流行業,PetaBase-s能幫助優化物流網絡,提高物流效率,降低物流成本;
智慧城市,PetaBase-s可實現智能交通、環保監測、城市規劃和智能安防
……【點擊了解更多產品詳情
快樂分享
? 2020 ESENSOFT 北京億信華辰軟件有限責任公司| 版權所有:京ICP備07017321號 京公網安備11010802016281號|免責聲明

聯系
電話

您好,商務咨詢請聯系

咨詢熱線:400-0011-866轉0

手機咨詢:137-0121-6790

社區
交流

產品技術問題交流

bbs.esensoft.com

9分鐘快速處理問題

山东群英会任二稳赚技巧