Lustre集群文件系统实例分析

摘　要： 随着计算机技术的发展,集群系统的应用越来越广泛。在各种高性能计算机解决方案中，基于linux的高性能科学计算集群是比较流行的低成本方案。本文介绍了Linux高性能集群及集群文件系统的相关技术，并通过实例展现搭建集群文件系统的过程。

关键词：Linux高性能集群 Lustre
1. 引言
　　如今，在各种高性能计算机解决方案中，基于linux的高性能集群是比较流行的低成本方案。本文在介绍基于linux的高性能集群核心技术的基础上，详细的讲述了Lustre集群文件系统的搭建过程，为搭建高性能集群打下基础。　　
2. Linux高性能集群及集群文件系统
　　Linux高性能集群是基于Linux的PC服务器集群。随着Linux操作系统的不断成熟， PVM、MPI消息传递机制，集群文件系统，高性能网络等各项集群技术的不断完善，使得Linux集群成为当今最流行的高性能计算机解决方案之一。
　　集群文件系统技术，主要应用于高性能集群等集群级应用，是建立高性能集群的基础。　　
3. Lustre集群文件系统
　　Lustre集群文件系统就是一种开放源代码的集群文件系统，Lustre名字由Linux和Clusters演化而来，其最大可支持10,000个节点的集群、PB级的存储量、100GB/S的传输速度，同时具有完善的安全性和可管理性。Lustre使用基于对象的设备管理，来替代以往的磁盘块管理方法。　　
　　对象存储系统的核心是将数据通路和控制通路分离，基于对象存储设备来构建系统，其通常有以下部分组成：
3.1对象
　　对象是系统中数据存储的基本单位，一个对象实际上就是文件数据和一组属性的组合。在对象存储系统中，对象通过与存储系统通信维护自己的属性，所有对象都有一个对象标识，通过对象标识命令访问该对象。
3.2对象存储设备
　　对象存储设备（OSD）具有一定的智能，它有自己的CPU、内存和磁盘系统。OSD提供三个主要功能：
（1） 数据存储。OSD管理对象数据，并将它们放置在标准的磁盘系统上，OSD不提供块接口访问方式，Client请求数据时用对象ID、偏移进行数据定位。
（2） 智能分布。OSD用其自身的CPU和内存优化数据分布，并支持数据预取，从而优化磁盘性能。
（3） 对象元数据的管理。对象存储架构将系统中主要的元数据管理工作交由OSD来完成，降低Client端的开销。
3.3元数据服务器
　　元数据服务器（MDS）控制Client与OSD对象的交互，主要提供以下功能：
（1） 对象存储访问。MDS构造、管理每个文件的分布视图，允许Client访问对象。
（2） 文件和目录访问管理。MDS在存储系统上构建一个文件结构，包括限额控制、目录和文件的创建和删除、访问控制等属性。
（3） Client Cache一致性。为了提高Client性能，系统设计时支持Client端Cache。通过Cache一致性机制防止 Cache不一致引发的问题。
　　Lustre文件系统就是基于上述的结构划分为三个组成部分：客户端(client)、存储服务器(OST)和元数据服务器(MDS)。　　
4. Lustre文件系统组建实例分析
4.1安装Lustre
这里选用的是Lustre版本1.8.4，使用RPM安装包进行安装。首先从网上下载：
  Lustre
4.2安装mds和oss端：
在MDS及OSS节点上分别运行rpm命令：
rpm -ivh
rpm –Uvh
安装完成后，修改grub为修改过的内核启动项，然后重启机器。
安装client端：
在各CLIENT节点上分别运行rpm命令：
rpm
安装完成后，重启机器。
4.3磁盘设置。
在MDS上创建逻辑卷用以存放MDS信息：
pvcreate /dev/sda
vgcreate vgmds /dev/sda
lvcreate -n mdsvol vgmds
在各OSS上分别创建逻辑卷：
pvcreate /dev/sda
vgcreate vgoss /dev/sda
lvcreate -n ossvol vgoss
4.4配置MDS
在MDS上执行
modprobe lustre
modprobe ldiskfs
将lustre模块加载进入内核。
modprobe lnet 'network=""tcp0(eth0)""'
配置lustre运行时数据传输所使用的网络
执行 --fsname=testfs –mdt --reformat --mgs /dev/vgmds/mdsvol
创建lustre文件系统MDS信息，创建testfs 文件系统
mount -t lustre /dev/vgmds/mdsvol /mnt/mds 挂载MDS信息。
4.5配置OSS
在MDS配置，并挂载完成后，在各OSS上分别执行
modprobe lustre
modprobe ldiskfs
modprobe lnet 'network=""tcp0(eth0)""'
执行
--fsname=testfs --ost –reformat --mgsnode=node1@tcp0 /dev/vgoss1/oss1vol
配置OSS磁盘，其中fsname必须和MDS中配置相同，完成后，挂载OSS。
mount -t lustre /dev/vgoss1/oss1vol /mnt/oss1
4.6配置Client
在所有各Client节点上执行
mount -t lustre node1@tcp0:/testfs /home 将lustre文件系统挂载到/home目录下。
　　至此Lustre文件系统安装配置完毕，使用df -h命令即可看到挂载的空间，并且像使用本地文件系统一样，使用Lustre集群文件系统。
5. 小结
　　希望通过本文，能和大家一起对Linux高性能集群核心技术有更深刻的理解，掌握Lustre集群文件系统的相关技术，为搭建Linux高性能集群打下基础。
参考文献：
. 2004. .
本文链接：http://www.qk112.com/lwfw/jsjlw/jisuanjiyingyong/242865.html