系统容错和负载平衡技术在数据集成服务系统中

摘　要：本论文阐述了系统容错和负载平衡技术与传统石油工业相结合的应用方法，介绍了一种全新的远程数据决策集成系统可靠运行的安全措施及它的实现算法，从理论上讲，它的应用不仅为高层领导的决策提供科学的手段，而且还为油田远程勘探数据集成服务系统的安全运行提供有力的保障。

关键词：系统容错;负载平衡;数据集成服务;数据传输;数据仓库;数据采集、

1. 数据集成服务系统
1.1数据集成服务系统(DTS)的发展历史及现状
　　DTS 是英文Data Totalization Service 的缩写，意思是数据集成服务。DTS集成了数据采集、数据传输、数据处理、数据仓库等多项技术，使用了最先进的互联网技术，把信息技术与传统的石油勘探开发进行了有机的结合。DTS 数据集成起源于1999 年中海技服承担的国家863 钻井液技术集成项目，经过不断地开发，最后形成了功能强大的集成化数据服务。
　　目前DTS服务已经成功地推广到渤海五号的QHD作业区、渤海十号的SZ作业区及南海四号的W作业区，并成功地将数据实时地显示到中海石油有限公司的各个地区公司。
1.2 DTS的系统结构
　　DTS对作业现场的数据集成后实时地传输到下设在陆地的数据库服务器，然后由数据中心进行分析处理, 分析处理的结果则及时地反馈给作业现场，同时利用网络技术分发给网上的各远程终端。
　　DTS系统结构如图1.1
　　
　　图1.1 DTS系统结构图
　　（注1：在此进行动态平衡处理整个系统的作业任务，使系统负载处于优化状态。）
　　由图1.1可以看出：DTS的油田远程勘探、开发数据集成服务系统主要由三部分构成：现场采集装置；传输装置；各种地质、工程资料发布装置。
　　该系统集成了油田开发过程中钻井、完井、油藏测试等各个阶段的现场数据，形成了完善的钻完井信息管理系统。通过数据集成服务，不仅有助于后方基地的决策，而且可以实现作业过程的远程监控及现场数据资源的二次开发。其成功的应用，改变了传统的管理模式和工作方法，对安全、优质、高效、低耗、低污染的石油勘探开发提供了有力的技术支持。
　　DTS系统把各种现场数据采集设备采集的数据通过卫星与总部数据库与其它各种终端进行传输，在这个庞大的传输系统中不可避免地要遇到分布式系统几乎全部要遇到的瓶颈问题―――即整个系统的负载平衡、系统容错问题。
2． 系统容错和负载平衡技术概述
2.1 概念
　　系统的容错和平衡负载是大型分布式系统中的两个重要的概念。在分布式系统中，相对客户端无需知道中间层应用服务器的确切位置，所以中间层应用服务器出错所造成的危害往往是致命的。但是，如果多个执行相同任务的服务器同时工作，系统在某个服务器发生故障后能将当前服务器中的任务切换到另一台正常工作的服务器，这将实现系统的自动容错功能。同样，如果能将大量的任务平均分配到多个执行相同服务的服务器， 这将平衡服务器的负载，减少系统等待时间，提高整个系统的效率。
2.2 特点
　　(1)当某台应用服务器发生故障时，原先连接到该应用服务器的相对终端可以立刻连接到其它提供相同服务的应用服务器，并继续相互进行作业，这就是所谓的容错能力。
    (2)断点续传功能：这种机制能够有效地避免数据传输或保存的冗余重复。
　　(3)能够根据系统的不同负荷，动态分配数据传输链路连接，不至于有的相对终端负载过重，有的相对终端负载相对过轻，使所有的相对终端的负载达到一个平衡。这就是所谓的负载平衡能力。
3． 系统容错和负载平衡技术的实现
　　Delphi提供了一个TSimpleObjectBroker组件，该组件提供了基本的容错能力和负载平衡能力，通过对此组件编程来实现系统的平衡负载和自动容错功能。
3.1容错能力的实现
　　TSimpleObjectBroker组件能维护一个能够执行应用服务器的机器列表，并且提供其中的机器名给TDCOMConnection或TSocketconnection作为连接的远程机器的名称。当TDCOMConnection或TSocketconnection连接的主机出 现故障时，TDCOMConnection或TSocketconnection可以从TSimpleObjectBroker取得一个新的能够执行应用程序服务器的远程机器名称，然后再连接到这台新机器以取得应用程序服务器的的服务。
3.2暂存数据的实现
　　TClientDataSet组件提供了两个方法SavetoFile和LoadFromFile。当所有的应用程序服务器都发生了故障，或是数据库服务器发生了故障，调用SaveToFile方法把ClientDataSet中所有的数据包括在相对客户端更新的数据保存到一个文件中，然后在应用程序服务器或是数据库服务器恢复正常后再执行相对客户端应用程序，调用LoadFromFile方法加载先前存储的数据到ClientDataSet中，再调用ApplyUpdates方法把相对客户端更新的数据更新回数据库中。
3.3 负载平衡能力的实现
　　要让分布式多层结构提供负载平衡能力，只需TSimpleObjectBroker的LoadBalanced属性设为True就可以提供简单的负载平衡能力。
3.4 断点续传的实现
　　现场数据集成系统将采集并经过处理的数据按照某种协议进行分割打包成一个个经过编码的数据元，在以经过编码的数据元为单位的数据传输过程中如发生中断，系统的断点续传功能将自动记载先前进行数据传输IP地址、主机号及数据传输发生中断时断点数据元的编码，当恢复数据传输后系统从数据传输发生中断时的断点开始进行数据传输。这样就避免因数据重复传输而造成的数据冗余。
4．  结束语
　　远程数据集成系统不能只是现场数据的简单再现。未来的数据集成系统还要从以下几个方面加以发展：
　　（1）、围绕需求在充分利用井场信息，收集整理井场其它资料以充实数据来源，在此基础上完成多种资料的数字化、规范远程传输的数据格式和内容。
　　（2）、编制适合不同需要、丰富高效的客户端软件。
　　（3）、要充分利用实时数据资料，充分利用已有的软件，加快开发急需的事故诊断、专业分析、工程评价等应用软件，不断提高生产管理者的决策水平。
参考文献:
[1]．宋永强．油田数据集成服务系统简介．中国海洋石油总公司技术服务公司(2001.3)
[2]．姜洪．张希等．数据库技术．国防工业出版社
[3]. 李标．Internet技术在石油工业中的应用．中国海洋石油出版社
[4]．罗昌隆．油田远程勘探、开发数据集成服务系统．石油工业出版社
[5]. 陈彦林 王晓宁. 开发安全稳固的分布式多层应用系统. 中国航天科技集
团第十一研究所计算中心
[6]. 刘志军. 软件体系结构设计技术及其应用. 计算机工程与设计. 2002(6).

 

本文链接：http://www.qk112.com/lwfw/jsjlw/xinxianquan/225388.html