竹坞无尘水槛清，相思迢递隔重城。秋阴不散霜飞晚，留得枯荷听雨声。

搜索引擎中并行文件系统的研究

上一篇 / 下一篇 2009-04-17 08:36:49 / 个人分类：搜索分析

开发商: 来源网络
文件来源: 网络

随着计算机应用的普及和互联网的发展,面对互联网海量的信息,如何找出自己感兴趣的内容越来越困难,搜索引擎应运而生。而当搜索引擎把海量网页信息获取之后,文件的存储、管理成为了制约其发展的关键一环。同时近年来伴随着集群技术的高速发展,分布式并行文件系统作为其核心组成部分,受到越来越多的关注。利用分布式并行文件系统为搜索引擎提供底层文件支持成为了一个较好的解决方案。但是常见的并行文件系统多为通用系统,不能很好地满足搜索引擎的特殊要求。本课题研究的目的在于通过对并行文件系统相关技术的研究,选择一个并行文件系统作为原型,针对搜索引擎的特殊文件操作需求,对具体算法进行探讨,最终实现一个并行文件系统,为搜索引擎提供文件存储和管理支持。本文通过对常见的并行文件系统进行对比,选择PVFS2作为原型系统,然后参考Google文件系统,分析了PVFS2的特点、系统结构及其原理,在此基础上进行了交叉备份和负载均衡的算法研究。本文的研究内容主要包括以下几个方面: (1)对比测试常见的几个并行文件系统,选择PVFS2作为系统开发原型。PVFS2具有高性能、易用性、对大文件良好支持的优势,并且是开源的。...

摘要	4-6
Abstract	6-10
第1章绪论	10-20
1.1 课题背景	10-11
1.2 本课题研究的目的及意义	11-12
1.3 并行文件系统国内外发展概况	12-16
1.3.1 并行文件系统分类	12
1.3.2 主要的并行文件系统简介	12-16
1.3.3 并行文件系统技术对比	16
1.4 本文主要研究内容与组织	16-20
1.4.1 本文内容	16-18
1.4.2 本文的组织	18-20
第2章并行文件系统研究	20-39
2.1 引言	20
2.2 Google文件系统(Google File System)	20-27
2.2.1 Google File System简介	20-21
2.2.2 GFS的系统结构	21-22
2.2.3 GFS的元数据管理	22-23
2.2.4 GFS系统交互	23-26
2.2.5 GFS的容错和诊断设计	26-27
2.3 PVFS（Parallel Virtual File System）及PVF52	27-37
2.3.1 PVFS(Parallel Virtual File System)系统结构	27-30
2.3.2 PVFS的管理和元数据	30-31
2.3.3 I/O节点和数据存储	31-32
2.3.4 PVFS应用程序接口	32-34
2.3.5 PVFS2	34-37
2.4 PVFS2 与GFS对比	37-38
2.5 本章小结	38-39
第3章基于PVFS2 的搜索引擎并行文件系统	39-52
3.1 引言	39
3.2 MPI技术	39-41
3.3 基于PVFS2 文件系统的接口	41-44
3.3.1 基于PVFS2 的文件系统系统结构	41-42
3.3.2 基于PVFS2 文件系统的接口设计与实现	42-44
3.4 基于PVFS2 文件系统的备份算法	44-50
3.5 基于PVFS2 文件系统的负载均衡算法	50-51
3.6 本章小结	51-52
第4章系统测试与结果分析	52-58
4.1 引言	52
4.2 测试环境	52-53
4.3 测试结果	53-56
4.3.1 备份算法测试结果	53-55
4.3.2 负载均衡算法测试结果	55-56
4.4 结果分析	56
4.5 本章小结	56-58
结论	58-60
参考文献	60-66
致谢