竹坞无尘水槛清,相思迢递隔重城。 秋阴不散霜飞晚,留得枯荷听雨声。


搜索引擎中并行文件系统的研究

上一篇 / 下一篇  2009-04-17 08:36:49 / 个人分类:搜索分析

  • 开发商: 来源网络
  • 文件来源: 网络

随着计算机应用的普及和互联网的发展,面对互联网海量的信息,如何找出自己感兴趣的内容越来越困难,搜索引擎应运而生。而当搜索引擎把海量网页信息获取之后,文件的存储、管理成为了制约其发展的关键一环。同时近年来伴随着集群技术的高速发展,分布式并行文件系统作为其核心组成部分,受到越来越多的关注。利用分布式并行文件系统为搜索引擎提供底层文件支持成为了一个较好的解决方案。但是常见的并行文件系统多为通用系统,不能很好地满足搜索引擎的特殊要求。 本课题研究的目的在于通过对并行文件系统相关技术的研究,选择一个并行文件系统作为原型,针对搜索引擎的特殊文件操作需求,对具体算法进行探讨,最终实现一个并行文件系统,为搜索引擎提供文件存储和管理支持。 本文通过对常见的并行文件系统进行对比,选择PVFS2作为原型系统,然后参考Google文件系统,分析了PVFS2的特点、系统结构及其原理,在此基础上进行了交叉备份和负载均衡的算法研究。本文的研究内容主要包括以下几个方面: (1)对比测试常见的几个并行文件系统,选择PVFS2作为系统开发原型。PVFS2具有高性能、易用性、对大文件良好支持的优势,并且是开源的。...

 

摘要4-6
Abstract6-10
第1章 绪论10-20
1.1 课题背景10-11
1.2 本课题研究的目的及意义11-12
1.3 并行文件系统国内外发展概况12-16
1.3.1 并行文件系统分类12
1.3.2 主要的并行文件系统简介12-16
1.3.3 并行文件系统技术对比16
1.4 本文主要研究内容与组织16-20
1.4.1 本文内容16-18
1.4.2 本文的组织18-20
第2章 并行文件系统研究20-39
2.1 引言20
2.2 Google文件系统(Google File System)20-27
2.2.1 Google File System简介20-21
2.2.2 GFS的系统结构21-22
2.2.3 GFS的元数据管理22-23
2.2.4 GFS系统交互23-26
2.2.5 GFS的容错和诊断设计26-27
2.3 PVFS(Parallel Virtual File System)及PVF5227-37
2.3.1 PVFS(Parallel Virtual File System)系统结构27-30
2.3.2 PVFS的管理和元数据30-31
2.3.3 I/O节点和数据存储31-32
2.3.4 PVFS应用程序接口32-34
2.3.5 PVFS234-37
2.4 PVFS2 与GFS对比37-38
2.5 本章小结38-39
第3章 基于PVFS2 的搜索引擎并行文件系统39-52
3.1 引言39
3.2 MPI技术39-41
3.3 基于PVFS2 文件系统的接口41-44
3.3.1 基于PVFS2 的文件系统系统结构41-42
3.3.2 基于PVFS2 文件系统的接口设计与实现42-44
3.4 基于PVFS2 文件系统的备份算法44-50
3.5 基于PVFS2 文件系统的负载均衡算法50-51
3.6 本章小结51-52
第4章 系统测试与结果分析52-58
4.1 引言52
4.2 测试环境52-53
4.3 测试结果53-56
4.3.1 备份算法测试结果53-55
4.3.2 负载均衡算法测试结果55-56
4.4 结果分析56
4.5 本章小结56-58
结论58-60
参考文献60-66
致谢

点击下列原文下载

TAG: 并行文件 搜索引擎 研究 系统

 

评分:0

我来说两句

显示全部

:loveliness: :handshake :victory: :funk: :time: :kiss: :call: :hug: :lol :'( :Q :L ;P :$ :P :o :@ :D :( :)

日历

« 2010-07-29  
    123
45678910
11121314151617
18192021222324
25262728293031

数据统计

  • 访问量: 6910
  • 日志数: 19
  • 文件数: 198
  • 书签数: 33
  • 建立时间: 2009-01-17
  • 更新时间: 2009-07-19

RSS订阅

Open Toolbar