中兴王德政:大数据架构演进,融合是主旋律
来源:融媒观察网 发布时间:2021-09-23 16:37 作者:叶子琪 阅读量:11071
9月17日,由工业和信息化部、湖南省人民政府联合主办的2021世界计算大会在长沙举行。
中兴通讯研究中心总工程师王德政发表了题为《ldquo生态融合趋势下的大数据架构演进:主旨演讲分享了中兴通讯对大数据生态发展的思考和探索。
中兴通讯研究中心总工程师王德政发表主旨演讲。
他说有必要认识到这一点;基于分布式云部署rdquo,覆盖全场景;生态融合的大数据架构需要面对基础设施集成、数据管理集成和计算框架集成的挑战。
在王德政看来,大数据与云基础设施的融合,是大数据逐渐放弃存储与计算一体化模式的过程。在这个过程中,存储和计算分离导致的计算资源调度和性能下降问题是主要挑战。针对不同的应用场景,采用从基础设施到应用的多种技术进行协同处理是解决这一问题的重要途径。
在数据管理方面,从大数据的角度来看,数据仓库和数据湖都越来越重视数据的实时价值,两种模式的融合是必然趋势。湖库集成将提供批量流集成的计算和存储,统一元数据服务将提供无缝的数据开发和管理体验。同时,从数据库的角度来看,将OLTP和OLAP集成到HTAP是另一条技术路线。
王德政认为,大数据系统延伸到生产系统,使得只能批量处理的数据有了流处理的基础。目前,批处理流分离的架构不仅会造成数据孤岛和重复,还会造成无法统一管理批处理流任务等系统性问题。批处理流集成计算框架可以改善批处理流分离造成的数据孤岛,统一任务管理,还具有数据处理实时性高、硬件资源需求均衡等优点。
郑重声明:此文内容为本网站转载企业宣传资讯,目的在于传播更多信息,与本站立场无关。仅供读者参考,并请自行核实相关内容。
站点精选
9月22日,阿里巴巴云宣布全面升级云存储服务,包括性能提升300%、延迟降低70%的ESSD云盘;兼容HDFS数据湖存储OSS,同时推出全新产品ldquo云存储...
- “5G滑雪电竞大赛”开赛!2021-09-22
- 越野能力智能化都提升新款哈弗H9如何选?2021-09-22
- 谷歌Chrome94浏览器发布:更新V8引擎,支持新图形AP2021-09-22
- 工业互联网从龙头向中小企业推进中国电信持续深耕助力产业转型2021-09-22
- 取消V8发动机捷尼赛思全新G90最新路试谍照2021-09-22