新一代云数据平台架构演进之路

如题所述

浙江数新网络的CTO原攀峰在《新一代云数据平台架构演进》分享中,深入探讨了大数据发展的历史脉络与云数据平台的未来趋势。他指出,数据平台经历了从传统数据到云数据的演变,技术架构也相应地从数据仓库到云原生架构,强调了云原生技术的弹性与灵活性。


在云计算与大数据的交织中,云数据平台的演进趋势呈现多元化特征。存储引擎不再单一,本地和云存储并存,计算引擎如Spark和Flink各具特色,满足多样化的场景需求。实时分析引擎领域,MPP架构引擎快速发展,而流批一体与Lambda-Kappa架构也各有所长。湖仓一体的设计则实现了数据的统一存储和多场景分析支持,存算分离的架构推动了架构的解耦,云原生与混合云/数据云环境的兴起,使得数据管理更加灵活,适应多云环境。


平台的核心在于灵活应对多引擎和场景变化,具备跨云数据安全的管理能力,如隐私计算技术。技术架构设计的关键点包括:



    总体架构:支持多元数据源,涵盖湖仓存储引擎的HDFS/对象存储和数据仓库,通过Yarn或K8S进行资源调度,计算引擎涵盖Hive、Flink、Spark等,云数据操作系统内核提供元数据管理、统一调度、数据集成以及隐私计算支持,开发治理平台实现全生命周期管理。
    关键组件:统一元数据系统支撑跨引擎管理,统一调度系统确保高并发稳定性和扩展性。
    调度系统:包括高效的协调器和执行器,支持多任务类型和性能扩展。

分享中还提及了工业制造案例,如CyberMeta的定制化大数据开发平台,以及技术细节如数据分片策略、跨VPC部署、元数据管理等。此外,星石(StarRocks)与Doris等数据库在云化部署中各有优势,智能调度和自动化运维也成为了关键点。


新一代云数据平台不仅关注云原生特性,还涵盖了存储、计算、安全以及跨云部署的综合解决方案,确保在高性能和灵活性之间找到最佳平衡。通过这些创新和实践,浙江数新网络正在引领云数据平台的未来发展,期待更多企业在此领域探索和应用。

温馨提示:答案为网友推荐,仅供参考
相似回答