位置:51电子网 » 技术资料 » 通信网络

网格数据传输协议探讨

发布时间:2008/5/27 0:00:00 访问次数:398

        

    

    网格中已有许多大型的存储系统。这些存储系统往往侧重于不同的需求,为客户提供不同的服务:如高性能存储系统侧重于实现快速传送存储设备和并行机或群聚计算机之间的庞大文件;分布式文件系统则侧重于支持海量存储与负载平衡。

    

    由于采用了不同的软件及数据访问协议,大部分存储系统并不兼容。若要访问多个存储系统,应用程序必须采用多种方法来检索所需数据,这显然是低效的。在具体应用中,许多地理上分布的应用程序或用户需要访问大量数据,要求各种存储系统之间能快速而有效地传输大量数据。一种简单的解决办法是通过建立一个客户层或者网关,给用户提供统一接口以打破由相互不匹配的存储系统协议所造成的分区。这种方法不要求供应商支持一种新的协议,但由于增加了一个抽象层,所以实现跨系统数据传输的代价较大,且实现这种方法是一项很复杂的工作。为此,globus提出了gridftp机制,它基于标准ftp协议,并对其进行了全面扩展,可实现对多种存储系统的支持,并提供统一的用户访问界面。

    

    1 gridftp协议功能及特点

    

    gridftp基于标准的ftp协议。这是因为ftp协议是目前因特网上使用最普遍的数据传输协议。它具有如下特点。

    

    (1)ptp协议有大量的技术基础,且易于理解。(2)ftp协议是数据传输的标准协议之一,易于扩展体系结构,且支持一些扩展的动态发现。(3)目前已有针对ftp协议的大量扩展及其实现,其中一些对于grid环境的数据传输很有用。(4)除了客户/服务器传输(如put/get或者远程read/write),它也支持由第三方用户控制的2个服务器之间的直接传送。(5)由于数据及控制信道在不同套接字上相分离,这使并行及条状传输等特征更容易扩展。

    

    在ftp协议(rfc 969)及其扩展所定义的特征中,标准的ftp实现一般只支持其中一个子集。为了使网格数据传输协议具有更好的适应性,gridftp除了应具有普遍使用的数据传输协议所提供的基本功能外,还必须是可扩展的。为了满足网格的需要,gridftp在ftp的基础上增加了如下一些新的特征,其中一些已经成为标准。

    

    (1)自动调整tcp缓冲/窗口大小。手工方式设置tcp缓冲/窗口大小容易出错,且对用户要求较高。因此gridftp对标准的ftp指令集及数据信道协议进行了扩展。针对具体的文件大小及类型,使gridftp支持手动或自动设置大文件以及小文件集合的tcp缓冲大小。由于使用优化的tcp缓冲/窗口大小设置,从而有效地提高了数据传输性能。

    

    (2)支持gsi及kerberos安全机制。传输或存取文件时,灵活可靠的安全鉴别、完整性检查、健壮性及保密性都非常重要。当用户要求控制不同层次上的数据完整性及保密性的设定时,gridftp必须支持gsi(crid security infrastructure)及kerberos认证。gsi支持用户代理、资源代理、认证机构和协议的实现,是globus的安全基础构件包,是保证网格计算安全性的核心。

    

    (3)第三方控制的数据传输。为了管理许多大型数据集,gridftp提供了经过鉴别的由第三方控制的数据传输功能。这种功能允许用户或应用程序启动、监视和控制其他2个地点的数据传输,为使用多个地点的资源提供了保障。gridftp在保留ftp的第三方数据传输功能上增加了gss-api(generic security service-api)安全认证。

    

    (4)并行数据传输。并行数据传输就是在一个数据服务器上,将数据文件分段后在多种数据连接上传输数据。在广域网中,客户端及服务器之间或2个服务器之间需要高带宽。使用多个并行的tcp流与使用单一的tcp流相比能有效地提高数据传输的总带宽。gridftp通过指令及数据信道的扩展支持并行数据传输。

    

    (5)条状数据传输。条状数据传输是指应用程序使用多个tcp流来传输分布在多个服务器上的数据。在网格环境中,大规模的数据可分布放置在多个存储点上。gridftp能启动条状传输,条状传输可以在并行传输的基础上进一步提高总带宽及数据传输速度。

    

    (6)部分文件传输。许多应用程序只需要访问某个远程文件的一部分。而标准的ftp只能传输整个文件或从文件某个特殊位置开始的剩余部分,因此需要特定的数据传输支持。gridftp引入新的ftp指令以支持从一个文件的任意位置开始传输数

        

    

    网格中已有许多大型的存储系统。这些存储系统往往侧重于不同的需求,为客户提供不同的服务:如高性能存储系统侧重于实现快速传送存储设备和并行机或群聚计算机之间的庞大文件;分布式文件系统则侧重于支持海量存储与负载平衡。

    

    由于采用了不同的软件及数据访问协议,大部分存储系统并不兼容。若要访问多个存储系统,应用程序必须采用多种方法来检索所需数据,这显然是低效的。在具体应用中,许多地理上分布的应用程序或用户需要访问大量数据,要求各种存储系统之间能快速而有效地传输大量数据。一种简单的解决办法是通过建立一个客户层或者网关,给用户提供统一接口以打破由相互不匹配的存储系统协议所造成的分区。这种方法不要求供应商支持一种新的协议,但由于增加了一个抽象层,所以实现跨系统数据传输的代价较大,且实现这种方法是一项很复杂的工作。为此,globus提出了gridftp机制,它基于标准ftp协议,并对其进行了全面扩展,可实现对多种存储系统的支持,并提供统一的用户访问界面。

    

    1 gridftp协议功能及特点

    

    gridftp基于标准的ftp协议。这是因为ftp协议是目前因特网上使用最普遍的数据传输协议。它具有如下特点。

    

    (1)ptp协议有大量的技术基础,且易于理解。(2)ftp协议是数据传输的标准协议之一,易于扩展体系结构,且支持一些扩展的动态发现。(3)目前已有针对ftp协议的大量扩展及其实现,其中一些对于grid环境的数据传输很有用。(4)除了客户/服务器传输(如put/get或者远程read/write),它也支持由第三方用户控制的2个服务器之间的直接传送。(5)由于数据及控制信道在不同套接字上相分离,这使并行及条状传输等特征更容易扩展。

    

    在ftp协议(rfc 969)及其扩展所定义的特征中,标准的ftp实现一般只支持其中一个子集。为了使网格数据传输协议具有更好的适应性,gridftp除了应具有普遍使用的数据传输协议所提供的基本功能外,还必须是可扩展的。为了满足网格的需要,gridftp在ftp的基础上增加了如下一些新的特征,其中一些已经成为标准。

    

    (1)自动调整tcp缓冲/窗口大小。手工方式设置tcp缓冲/窗口大小容易出错,且对用户要求较高。因此gridftp对标准的ftp指令集及数据信道协议进行了扩展。针对具体的文件大小及类型,使gridftp支持手动或自动设置大文件以及小文件集合的tcp缓冲大小。由于使用优化的tcp缓冲/窗口大小设置,从而有效地提高了数据传输性能。

    

    (2)支持gsi及kerberos安全机制。传输或存取文件时,灵活可靠的安全鉴别、完整性检查、健壮性及保密性都非常重要。当用户要求控制不同层次上的数据完整性及保密性的设定时,gridftp必须支持gsi(crid security infrastructure)及kerberos认证。gsi支持用户代理、资源代理、认证机构和协议的实现,是globus的安全基础构件包,是保证网格计算安全性的核心。

    

    (3)第三方控制的数据传输。为了管理许多大型数据集,gridftp提供了经过鉴别的由第三方控制的数据传输功能。这种功能允许用户或应用程序启动、监视和控制其他2个地点的数据传输,为使用多个地点的资源提供了保障。gridftp在保留ftp的第三方数据传输功能上增加了gss-api(generic security service-api)安全认证。

    

    (4)并行数据传输。并行数据传输就是在一个数据服务器上,将数据文件分段后在多种数据连接上传输数据。在广域网中,客户端及服务器之间或2个服务器之间需要高带宽。使用多个并行的tcp流与使用单一的tcp流相比能有效地提高数据传输的总带宽。gridftp通过指令及数据信道的扩展支持并行数据传输。

    

    (5)条状数据传输。条状数据传输是指应用程序使用多个tcp流来传输分布在多个服务器上的数据。在网格环境中,大规模的数据可分布放置在多个存储点上。gridftp能启动条状传输,条状传输可以在并行传输的基础上进一步提高总带宽及数据传输速度。

    

    (6)部分文件传输。许多应用程序只需要访问某个远程文件的一部分。而标准的ftp只能传输整个文件或从文件某个特殊位置开始的剩余部分,因此需要特定的数据传输支持。gridftp引入新的ftp指令以支持从一个文件的任意位置开始传输数

相关IC型号

热门点击

 

推荐技术资料

耳机的焊接
    整机电路简单,用洞洞板搭线比较方便。EM8621实际采... [详细]
版权所有:51dzw.COM
深圳服务热线:13692101218  13751165337
粤ICP备09112631号-6(miitbeian.gov.cn)
公网安备44030402000607
深圳市碧威特网络技术有限公司
付款方式


 复制成功!