更新时间:2019-02-13 11:08 来源:极悦 浏览9979次
随着数据的日益膨胀,面对海量数据存储需求,传统的存储系统存在很多弊端,比如在容量和性能的扩展上存在瓶颈,从而应运而生出现了分布式文件系统;
文件系统是操作系统的重要组成部分,用来管理和存储大量的文件信息,负责对文件的存储空间进行分配和管理,并对其中的文件进行存储和检索,同时为用户提供包括文件创建、删除、重命名、读写、访问控制等一系列功能。此外,文件系统还可以根据存取权限及访问操作类型来指定用户对文件的存取。
分布式文件系统除了具有本地文件系统的所有功能外,还必须管理整个系统中所有服务器上的文件资源,这些服务器节点通过网络相连构成一个庞大的文件存储服务器集群,这些服务器都用于存储文件资源,通过分布式文件系统来管理这些服务器上的文件;
此外分布式文件系统还需要隐藏内部的实现细节,对用户和应用程序屏蔽各个服务器节点底层文件系统之间的差异,以提供给用户统一的访问接口和方便的资源管理方式,同时分布式文件系统还需要充分考虑了冗余备份、负载均衡、线性扩容等机制,并注重高可用、高性能等指标,从而实现一套高性能的文件服务器集群提供文件的管理等服务;
在互联网金融项目中,我们有大量的债权合同文件存储需求,这些合同文件每天都会生成,随着时间的推移,会生成大量的合同文件,每个文件都为pdf小文件,约2M左右,对此需求,我们选择了FastDFS这样一款轻量级的分布式文件系统软件,实现对债权合同的管理。
FastDFS是一个开源的轻量级分布式文件系统,为互联网应用量身定做,简单、灵活、高效,采用C语言开发,整个文件系统由客户端(Client)、跟踪器(Tracker)和存储节点(Storage)三部分组成。服务端有Tracker和Storage两个角色,Tracker用来负责作业的调度和负载均衡,Storage则用于存储文件,并负责管理文件。为支持大容量的数据存储,Storage采用分卷或分组的数据组织方式,存储系统可由一个或多个卷组成,一个卷可以由一台或多台存储服务器构建。
同一个卷下的多台存储服务器中的数据文件都是相同的,卷与卷之间的文件则相互独立,通过这种数据组织方式,可以很好地实现数据冗余备份以及系统负载均衡的目的。
高薪课程推荐:
0基础 0学费 15天面授
Java就业班有基础 直达就业
业余时间 高薪转行
Java在职加薪班工作1~3年,加薪神器
工作3~5年,晋升架构
提交申请后,顾问老师会电话与您沟通安排学习