浙江数新网络的CTO原攀峰在《新一代云数据平台架构演进》分享中,深入探讨了大数据发展的历史脉络与云数据平台的未来趋势。他指出,数据平台经历了从传统数据到云数据的演变,技术架构也相应地从数据仓库到云原生架构,强调了云原生技术的弹性与灵活性。
在云计算与大数据的交织中,云数据平台的演进趋势呈现多元化特征。存储引擎不再单一,本地和云存储并存,计算引擎如Spark和Flink各具特色,满足多样化的场景需求。实时分析引擎领域,MPP架构引擎快速发展,而流批一体与Lambda-Kappa架构也各有所长。湖仓一体的设计则实现了数据的统一存储和多场景分析支持,存算分离的架构推动了架构的解耦,云原生与混合云/数据云环境的兴起,使得数据管理更加灵活,适应多云环境。
平台的核心在于灵活应对多引擎和场景变化,具备跨云数据安全的管理能力,如隐私计算技术。技术架构设计的关键点包括:
分享中还提及了工业制造案例,如CyberMeta的定制化大数据开发平台,以及技术细节如数据分片策略、跨VPC部署、元数据管理等。此外,星石(StarRocks)与Doris等数据库在云化部署中各有优势,智能调度和自动化运维也成为了关键点。
新一代云数据平台不仅关注云原生特性,还涵盖了存储、计算、安全以及跨云部署的综合解决方案,确保在高性能和灵活性之间找到最佳平衡。通过这些创新和实践,浙江数新网络正在引领云数据平台的未来发展,期待更多企业在此领域探索和应用。