SparkSQL對于批流支持的特性及批流一體化支持框架的難點
二、基于SparkSQL－Flow的
分析框架
何為 SparkSQL－Flow
1．一個由普元技術部提供的基于 SparkSQL 的開發(fā)模型；
2．一個可二次定制開發(fā)的大數(shù)據(jù)開發(fā)框架，提供了靈活的可擴展 API；
3．一個提供了 對文件，數(shù)據(jù)庫，NoSQL、流處理等統(tǒng)一的數(shù)據(jù)開發(fā)模式；
4．基于 SQL 的開發(fā)語言和 XML 的模板配置，支持 SparkSQL UDF 的擴展管理；
5．支持基于 Spark Standlone，Yarn，Mesos 資源管理平臺；
6．支持多種平臺Kerberos認證（開源、華為、星環(huán)）等平臺統(tǒng)一認證；
SparkSQL Flow XML 概覽
用戶只需要定義 Source，Transformer，Target 幾個核心組件：
1．Source 數(shù)據(jù)源：支持Data、DB、File、NoSQL、MQ 等眾多源；
2．Transformer 為上述定義的數(shù)據(jù)源和已有的Transformer 間的組合操作，一般為SQL；
3．Target 為輸出目標，支持show、DB、File、NoSQL、MQ 等眾多目標，支持類型基本和源相同；
4．用戶可以在Properties定義一些變量，作為Source／Transformer／Target 的宏替換；
SparkSQL Flow 適合的場景
1．批量 ETL；
2．非實時分析服務；
3．流式 ETL；
支持從多種獲得數(shù)據(jù)源：
1．支持文件：JSON、TextFile（CSV）、ParquetFile、AvroFile
2．大數(shù)據(jù)：Hive、HDFS
3．支持RDBMS數(shù)據(jù)庫：PostgreSQL、 MySQL、Oracle
4．支持 NOSQL 數(shù)據(jù)庫：Hbase、MongoDB、Redis
5．Streaming：JMS、AMQP、Kafka、Socket
分享
請輸入評論內(nèi)容...
請輸入評論/評論長度6~500個字
最新活動更多
-
7月8日立即報名>> 【在線會議】英飛凌新一代智能照明方案賦能綠色建筑與工業(yè)互聯(lián)
-
7月22-29日立即報名>> 【線下論壇】第三屆安富利汽車生態(tài)圈峰會
-
7.30-8.1火熱報名中>> 全數(shù)會2025（第六屆）機器人及智能工廠展
-
7月31日免費預約>> OFweek 2025具身智能機器人產(chǎn)業(yè)技術創(chuàng)新應用論壇
-
免費參會立即報名>> 7月30日- 8月1日 2025全數(shù)會工業(yè)芯片與傳感儀表展
-
即日-2025.8.1立即下載>> 《2024智能制造產(chǎn)業(yè)高端化、智能化、綠色化發(fā)展藍皮書》
推薦專題
