云计算中的数据管理关键技术及其应用

摘　要：本文提出了一种基于云计算技术进行管理和存储海量数据模型，构建了海量数据存储云计算平台解决方案。针对Hadoop 的文件系统 HDFS(Hadoop Distributed File System)和计算模型 MapReduce 进行深入分析和研究的基础上，建立基于 Hadoop 平台的云存储平台。

关键词：海量数据存储 ；Hadoop ；云计算

随着信息化的普及、互联网和存储技术的发展以及传感器、RFID等各种先进信息采集技术的成熟，收集和存储以指数级规模增长的数据资源成为可能，这些数据的存储与管理将会面临巨大的问题。云计算是在超大规模分布式系统，他对外提供数据存储与节点计算能力，基于云计算环境下的数据管理、数据存储、分布式计算都是其核心部分。
1．平台总体设计
1.1平台总体框架结构
　　结合海量数据各种特点，结合系统运维的角度考虑，系统设计拟采用多层结构设计，易于扩展维护。数据分为元数据和数据，元数据和数据即可在独立的HTTP请求中传输，也可在同一个HTTP请求中传输。传输协议采用HTTP或者HTTPS。在完成整体设计中需要考虑云存储的数据模型，安全访问控制以及备份策略，系统结构如图1所示：

图1  平台结构图
　　表示层：提供用户操作页面，不同用户可根据自己的权限做各种不同的操作，例如一般用户可以进行页面浏览与数据查询，管理员系统维护等操作可 陈康，郑纬民．云计算：系统实现与研究 现状. 北京：清华大学出版社，2010．

本文链接：http://www.qk112.com/lwfw/jsjlw/xinxianquan/225437.html