空間信息大數(shù)據(jù)平臺(tái)（Sichuan Spatial Information BIG Data Platform 簡(jiǎn)稱(chēng) SSIBDP）基于云計(jì)算、大數(shù)據(jù)、數(shù)據(jù)挖掘等技術(shù)實(shí)現(xiàn)數(shù)據(jù)的分布式存儲(chǔ)、計(jì)算、分析，并在保證數(shù)據(jù)安全情況下按照標(biāo)準(zhǔn)化規(guī)范化進(jìn)行數(shù)據(jù)共享交換，使數(shù)據(jù)作為無(wú)形資產(chǎn)流動(dòng)起來(lái)，提高數(shù)據(jù)對(duì)業(yè)務(wù)的支撐能力和決策能力，并且通過(guò)數(shù)據(jù)關(guān)聯(lián)促進(jìn)數(shù)據(jù)資產(chǎn)增值。
一、平臺(tái)組成：
1）基礎(chǔ)設(shè)施層
基于云計(jì)算虛擬化技術(shù)為平臺(tái)提供基本的計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)等基礎(chǔ)設(shè)施環(huán)境，包括物理機(jī)、虛擬機(jī)的管理和監(jiān)控能力。
2）數(shù)據(jù)平臺(tái)層
實(shí)現(xiàn)企業(yè)內(nèi)部、外部、互聯(lián)網(wǎng)數(shù)據(jù)的采集、清洗、轉(zhuǎn)換、加載、匯總。應(yīng)用Storm源、消息隊(duì)列、Hdfs、利用Spark處理關(guān)鍵在于當(dāng)文件到達(dá)時(shí)，將文件轉(zhuǎn)換為Spark的Spout數(shù)據(jù)源MQ消息中間件來(lái)完成各個(gè)數(shù)據(jù)處理模塊的通信與解耦。使用文本文件、關(guān)系型數(shù)據(jù)庫(kù)、MPP數(shù)據(jù)庫(kù)或HDFS（分布式文件）等方式進(jìn)行數(shù)據(jù)的存儲(chǔ)。
3）統(tǒng)一服務(wù)平臺(tái)層
基于元模型管理，實(shí)現(xiàn)對(duì)數(shù)據(jù)的采集源、數(shù)據(jù)庫(kù)表、字段、共享、應(yīng)用的全過(guò)程管理。
基于開(kāi)發(fā)IDE平臺(tái)，對(duì)底層技術(shù)能力的封裝，通過(guò)圖形化、標(biāo)準(zhǔn)化應(yīng)用開(kāi)發(fā)工具，提供拖拽式、組件化的能力，實(shí)現(xiàn)基于IDE的快速開(kāi)發(fā)，也可以支持采用腳本進(jìn)行更為復(fù)雜的類(lèi)型開(kāi)發(fā)。
基于運(yùn)營(yíng)中心，實(shí)現(xiàn)對(duì)基礎(chǔ)平臺(tái)的組件、作業(yè)狀態(tài)、租戶、告警的可視化監(jiān)控，并實(shí)現(xiàn)對(duì)計(jì)算、存儲(chǔ)、I/O等資源的動(dòng)態(tài)實(shí)時(shí)監(jiān)控，同時(shí)，提供對(duì)平臺(tái)安全和數(shù)據(jù)安全保護(hù)能力?；诮y(tǒng)一服務(wù)接口對(duì)外提供標(biāo)準(zhǔn)化服務(wù)。
4）業(yè)務(wù)應(yīng)用層
基于大數(shù)據(jù)云平臺(tái)提供的運(yùn)行環(huán)境，與大數(shù)據(jù)云平臺(tái)進(jìn)行前后臺(tái)集成，運(yùn)行華北空管局各部門(mén)使用的業(yè)務(wù)應(yīng)用系統(tǒng)。
基于大數(shù)據(jù)基礎(chǔ)平臺(tái)提供的可視化、標(biāo)準(zhǔn)化、規(guī)范化的IDE開(kāi)發(fā)環(huán)境，實(shí)現(xiàn)業(yè)務(wù)系統(tǒng)的自助式開(kāi)發(fā)和快速集成。
? 二、關(guān)鍵技術(shù)：
三、產(chǎn)品優(yōu)勢(shì)：
1）.隔離大數(shù)據(jù)底層技術(shù)與業(yè)務(wù)邏輯。通過(guò)對(duì)開(kāi)發(fā)環(huán)境、開(kāi)發(fā)語(yǔ)言、數(shù)據(jù)庫(kù)結(jié)構(gòu)、通信接口等進(jìn)行封裝和標(biāo)準(zhǔn)化，實(shí)現(xiàn)大數(shù)據(jù)平臺(tái)和各業(yè)務(wù)系統(tǒng)邏輯的松耦合，提高數(shù)據(jù)產(chǎn)品開(kāi)發(fā)效率。
2 ）.高可用的在線自助開(kāi)發(fā)平臺(tái)?；诳梢暬拈_(kāi)發(fā)管理界面，統(tǒng)一封裝的函數(shù)庫(kù)，對(duì)開(kāi)發(fā)環(huán)境、資源分配、開(kāi)發(fā)過(guò)程、開(kāi)發(fā)模型、腳本、測(cè)試、上線、運(yùn)維進(jìn)行按需分配，實(shí)現(xiàn)自助開(kāi)發(fā)。
3）.實(shí)現(xiàn)對(duì)每個(gè)租戶的計(jì)算，存儲(chǔ)，I0等資源的精細(xì)化控制。
4）.與數(shù)據(jù)治理，數(shù)據(jù)目錄，以及元數(shù)據(jù)管理能夠?qū)崿F(xiàn)互通。實(shí)現(xiàn)對(duì)數(shù)據(jù)采集、加工、入庫(kù)、共享、交換、稽核、運(yùn)維的全生命周期管理。
5）.提供系統(tǒng)級(jí)別，業(yè)務(wù)級(jí)別異常情況的報(bào)警和智能恢復(fù)機(jī)制。
6）.引進(jìn)成熟作業(yè)調(diào)度系統(tǒng)，實(shí)現(xiàn)作業(yè)調(diào)度與大數(shù)據(jù)計(jì)算、存儲(chǔ)組件的無(wú)縫整合，支持多組件、多類(lèi)型作業(yè)的可視化配置、調(diào)度和管理功能。
7）.引入成熟的數(shù)據(jù)開(kāi)發(fā)IDE，屏蔽大數(shù)據(jù)專(zhuān)業(yè)技術(shù)，通過(guò)開(kāi)發(fā)者門(mén)戶可以自助實(shí)現(xiàn)數(shù)據(jù)接入、存儲(chǔ)、查詢、計(jì)算、輸出的核心功能。
8）.實(shí)現(xiàn)存儲(chǔ)資源配額和計(jì)算資源隔離等功能；實(shí)現(xiàn)HBase，HDFS，Hive，Impala，Kafka等數(shù)據(jù)的安全訪問(wèn)授權(quán)，實(shí)現(xiàn)Hadoop相關(guān)組件用戶統(tǒng)一管理。
三、產(chǎn)品優(yōu)勢(shì)：1）.隔離大數(shù)據(jù)底層技術(shù)與業(yè)務(wù)邏輯。通過(guò)對(duì)開(kāi)發(fā)環(huán)境、開(kāi)發(fā)語(yǔ)言、數(shù)據(jù)庫(kù)結(jié)構(gòu)、通信接口等進(jìn)行封裝和標(biāo)準(zhǔn)化，實(shí)現(xiàn)大數(shù)據(jù)平臺(tái)和各業(yè)務(wù)系統(tǒng)邏輯的松耦合，提高數(shù)據(jù)產(chǎn)品開(kāi)發(fā)效率。2 ）.高可用的在線自助開(kāi)發(fā)平臺(tái)?；诳梢暬拈_(kāi)發(fā)管理界面，統(tǒng)一封裝的函數(shù)庫(kù)，對(duì)開(kāi)發(fā)環(huán)境、資源分配、開(kāi)發(fā)過(guò)程、開(kāi)發(fā)模型、腳本、測(cè)試、上線、運(yùn)維進(jìn)行按需分配，實(shí)現(xiàn)自助開(kāi)發(fā)。