可視化數據開發平臺
需求痛點
數據接入
? 離線、準實時，一個平臺無法覆蓋；
? 接入的源始系統數據庫、接口類型多，部分無法支持需要自開發；
? 接入效率慢：數據表格數量多、沒有模板、批量采集、非分布式；
流程管控
? 缺乏數據模型設計、管理平臺；
? 市場數據模型設計工具對接開源Hadoop、常用數據庫較好；
? 數據模型設計不能自動轉換ETL任務，數據轉換規則類型少；
? 數據整合需要代碼開發，難度高；
任務調度
? 缺乏可視化任務編排和調度；
? 支持的任務類型不夠豐富；
? 任務并發數量受限；
? 任務數量過多導致流程設計圖混亂、關系難以理清；
SQL開發
? 缺乏SQL自動化審核流程，導致不規范SQL影響系統運行；
? 無法可視化分析SQL血緣，不便于追溯問題；
? 無法對SQL進行良好的版本管理，導致文件管理困難；
? 不支持SQL的智能提示，影響開發效率；
TDS可視化數據開發平臺
◆ 產品能力：提供多樣化數據相關工具，支撐全流程的可視化數據開發、監控、運維與告警
◆ 產品目標：實現數據統一化、可視化，構建企業級數據湖、數據倉庫、數據集市
◆ 核心功能：數據接入、數據整合、數據服務
◆ 技術設計：ELT （Extract – Load – Transform）
◆ 基于圖形化步驟的抽取和加載以提高效率
◆ 基于SQL的Transform更加靈活高效的利用大數據平臺的能力
產品名稱
Waterdrop
TDH數據平臺開發桌面端IDE
ArgoDB、KunDB的數據庫開發IDE
SQLBook
SQL開發與執行
SQL審核與協同，靜態SQL血緣分析
SQL開發的DevOps管控
Workflow
可視化設計，任務與任務流配置
分布式數據任務調度
協同開發與圖形化運維
Transporter
支持的整合數據源與目標
離線加載、實時同步、數據轉換
協同開發與圖形化運維