MooseFS，是一个具备冗余容错功能的分布式网络文件系统，它将数据分别存放在多个物理server或单独disk或partition上，确保一份数据有多个备份副本，对于访问MFS的client或user来说，整个分布式网络文件系统集群看起来就像一个资源一样，从MFS对文件操作的情况看，相当于一个类unix的FS（ext{3,4}、nfs）；
https://moosefs.com/index.html
特点：
分层的目录树结构；
存储支持POSIX标准的文件属性（权限、最后访问、修改时间）；
支持特殊的文件，如：块设备、字符设备、管道、套接字、软硬链接；
支持基于IP和密码的访问方式；
高可靠性，每一份数据可设置多个副本，并可存储在不同的主机上；
高可扩展性，可通过增加主机增加主机数量或disk来动态扩展整个文件系统的存储量（尽量在前端加cache应用，而不是一味的扩充存储）；
高可容错性，通过配置，当数据文件在删除后的一段时间内，仍存于主机的回收站中，以备恢复；
高数据一致性，即使文件被写入或访问，也可完成对文件的一致性快照；
优点：
轻量、易配置、易维护；
开发活跃、社区活跃、资料丰富；
扩容成本低，支持在线扩容（不影响业务）；
以文件系统方式展示（例如图片，虽存在chunkserver上的是binary文件，但在挂载的mfs client仍以图片方式展示）；
磁盘利用率较高，测试需要较大磁盘空间；
可设置删除文件的空间回收时间，避免误删文件丢失及恢复不及时影响业务；
系统负载，即数据rw分配到所有server上；
可设置文件备份的副本数量（一般建议3份）；
缺点：
master是单点（虽会把数据信息同步到备份服务器，但恢复需要时间，会影响业务），解决：drbd+heartbeat或drbd+inotify，master和backup之间的同步类似MySQL的主从同步；
master对主机的内存要求较高（所有metadata均加载在内存中）；
backup（metalogger）复制metadata间隔时间较长（可调整）；
应用场景：
大规模高并发的线上数据存储及访问（小文件、大文件）；
大规模的数据处理，如：日志分析，小文件强调性能不用HDFS（hadoop）；
Lustre；ceph；GlusterFS；HDFS；Mogilefs；FastDFS；FreeNAS；MooseFS；
MFS结构（4组件）：
master（managing server，管理服务器，管理整个mfs的主服务器，master只能有一台处于工作状态，master除分发用户请求外，还用于存储整个FS中每个数据文件的metadata（file,directory,socket,pipe,device等的大小、属性、路径），类似LVS主服务器，LVS仅根据算法分发请求，而master根据内存中的metadata（会实时写入到disk）分发请求）；
backup（metadata backupserver或metalogger，元数据备份服务器，backup可有一台或多台，备份master的变化的metadata信息日志文件（changelog_ml.*.mfs），当master出问题简单操作即可让新主服务器进行工作，类似MySQL的主从同步（不像MySQL从库那样在本地应用数据，只接收master上文件写入时记录的与文件相关的metadata信息））；
data（data server或chunk server，数据存储服务器，真正存放数据文件实体，这个角色可有多台不同的物理server或不同的disk及partition，当配置数据的副本多于一份时，当写入到一个数据服务器后，再根据算法同步备份到其它数据服务器上，类似LVS集群中的RS）；
client（client server，挂载并使用mfs的client，即前端访问FS的应用服务器，client首先会连接master获取数据的metadata，根据得到的metadata访问data server读取或写入文件实体，client通过FUSEmechanism实现挂载）；
高稳定性要求：
master（双电源分别接A、B路电，机柜多的分开存放；多块disk使用raid1或raid10，也可raid5（r好w慢））；
backup（若确定在master失效后，用backup接管master，backup应与master同等配置，另一方案是在master上使用heartbeat+drbd）；
data（所有data server硬盘大小一致，否则io不均，生产下data至少3台以上）；
操作：
192.168.23.136（mfsmaster）
192.168.23.137（mfsbackup，mfsclient，两个角色）
192.168.23.138（mfsdata）
[root@mfsmaster ~]# uname -rm
2.6.32-431.el6.x86_64 x86_64
[root@mfsmaster ~]# cat /etc/redhat-release
Red Hat Enterprise Linux Server release 6.5(Santiago)
[root@mfsmaster ~]# vim /etc/hosts #（三台主机hosts文件一致）
192.168.23.136 mfsmaster
192.168.23.137 mfsbackup
192.168.23.138 mfsdata
mfsmaster-side：
[root@mfsmaster ~]# groupadd mfs
[root@mfsmaster ~]# useradd -g mfs -s /sbin/nologin mfs
[root@mfsmaster ~]# yum -y install fuse-devel zlib-devel
[root@mfsmaster ~]# tar xf mfs-1.6.27-5.tar.gz
[root@mfsmaster ~]# cd mfs-1.6.27
[root@mfsmaster mfs-1.6.27]# ./configure –help #（--disable-mfsmaster，--disable-mfschunkserver，--disable-mfsmount）
[root@mfsmaster mfs-1.6.27]# ./configure --prefix=/ane/mfs-1.6.27 --with-default-user=mfs --with-default-group=mfs #（完全安装，只在配置文件上区分）
[root@mfsmaster mfs-1.6.27]# make
[root@mfsmaster mfs-1.6.27]# make install
[root@mfsmaster mfs-1.6.27]# cd /ane
[root@mfsmaster ane]# ln -sv mfs-1.6.27/ mfs
`mfs' -> `mfs-1.6.27/'
[root@mfsmaster ane]# ll mfs/
total 20
drwxr-xr-x. 2 root root 4096 Apr 18 18:43bin
drwxr-xr-x. 3 root root 4096 Apr 18 18:43etc
drwxr-xr-x. 2 root root 4096 Apr 18 18:43sbin
drwxr-xr-x. 4 root root 4096 Apr 18 18:43share
drwxr-xr-x. 3 root root 4096 Apr 18 18:43var
[root@mfsmaster ane]# ll mfs/etc/mfs/
total 28
-rw-r--r--. 1 root root 548 Apr 18 18:43 mfschunkserver.cfg.dist
-rw-r--r--. 1 root root 4060 Apr 18 18:43mfsexports.cfg.dist
-rw-r--r--. 1 root root 57 Apr 18 18:43 mfshdd.cfg.dist
-rw-r--r--. 1 root root 1023 Apr 18 18:43mfsmaster.cfg.dist
-rw-r--r--. 1 root root 433 Apr 18 18:43 mfsmetalogger.cfg.dist
-rw-r--r--. 1 root root 404 Apr 18 18:43 mfsmount.cfg.dist
-rw-r--r--. 1 root root 1123 Apr 18 18:43mfstopology.cfg.dist
[root@mfsmaster ane]# ls mfs/bin
mfsappendchunks mfsdirinfo mfsgeteattr mfsmakesnapshot mfsrgettrashtime mfsseteattr mfssnapshot
mfscheckfile mfsfileinfo mfsgetgoal mfsmount mfsrsetgoal mfssetgoal mfstools
mfsdeleattr mfsfilerepair mfsgettrashtime mfsrgetgoal mfsrsettrashtime mfssettrashtime
[root@mfsmaster ane]# ls mfs/sbin
mfscgiserv mfschunkserver mfsmaster mfsmetadump mfsmetalogger mfsmetarestore
[root@mfsmaster ane]# cp mfs/etc/mfs/mfsmaster.cfg.dist mfs/etc/mfs/mfsmaster.cfg
[root@mfsmaster ane]# vimmfs/etc/mfs/mfsmaster.cfg #（按默认，9419用于master<-->metalogger，9420用于master<-->chunkserver，9421用于master<-->client）
……
# MATOML_LISTEN_HOST = *
# MATOML_LISTEN_PORT = 9419
# MATOML_LOG_PRESERVE_SECONDS = 600
# MATOCS_LISTEN_HOST = *
# MATOCS_LISTEN_PORT = 9420
# MATOCL_LISTEN_HOST = *
# MATOCL_LISTEN_PORT = 9421
……
[root@mfsmaster ane]# cp mfs/etc/mfs/mfsexports.cfg.dist mfs/etc/mfs/mfsexports.cfg
[root@mfsmaster ane]# vimmfs/etc/mfs/mfsexports.cfg
#* / rw,alldirs,maproot=0
* . rw #此处配置与文件误删后的恢复有关
192.168.23.0/24 / rw,alldirs,mapall=mfs:mfs,password=passcode
mfsexports.cfg注：
第1列（格式：单ip；*表示所有ip；ip段，如f.f.f.f-t.t.t.t；ip/netmask；ip/netmask位数）；
第2列（/表示mfs根；.表示mfsdata文件系统）；
第3列（ro只读模式共享；rw读写模式共享；alldirs允许挂载任何指定的子目录；maproot映射为root或指定的用户；password指定client密码）；
[root@mfsmaster ane]# cd mfs/var/mfs/
[root@mfsmaster mfs]# cp metadata.mfs.empty metadata.mfs
[root@mfsmaster mfs]# vim /etc/profile.d/mfs.sh
exportPATH=$PATH:/ane/mfs/bin:/ane/mfs/sbin
[root@mfsmaster mfs]# . !$
. /etc/profile.d/mfs.sh
[root@mfsmaster mfs]# mfsmaster -h
usage: mfsmaster [-vdu] [-t locktimeout][-c cfgfile] [start|stop|restart|reload|test]
[root@mfsmaster mfs]# mfsmaster start #（使用mfsmasterstop关闭，若用kill，无法正常启动时要用mfsmetastore修复）
working directory: /ane/mfs-1.6.27/var/mfs
lockfile created and locked
initializing mfsmaster modules ...
loading sessions ... file not found
if it is not fresh installation then youhave to restart all active mounts !!!
exports file has been loaded
mfstopology configuration file(/ane/mfs-1.6.27/etc/mfstopology.cfg) not found - using defaults
loading metadata ...
create new empty filesystemmetadata filehas been loaded
no charts data file - initializing emptycharts
master <-> metaloggers module: listenon *:9419
master <-> chunkservers module:listen on *:9420
main master server module: listen on *:9421
mfsmaster daemon initialized properly
[root@mfsmaster mfs]# tail -f /var/log/messages
Apr 18 22:21:13 localhost mfsmaster[54691]:set gid to 501
Apr 18 22:21:13 localhost mfsmaster[54691]:set uid to 501
Apr 18 22:21:13 localhost mfsmaster[54691]:can't load sessions, fopen error: ENOENT (No such file or directory)
Apr 18 22:21:13 localhost mfsmaster[54691]:exports file has been loaded
Apr 18 22:21:13 localhost mfsmaster[54691]:mfstopology configuration file (/ane/mfs-1.6.27/etc/mfstopology.cfg) not found- network topology not defined
Apr 18 22:21:13 localhost mfsmaster[54691]:create new empty filesystem
Apr 18 22:21:13 localhost mfsmaster[54691]:no charts data file - initializing empty charts
Apr 18 22:21:13 localhost mfsmaster[54691]:master <-> metaloggers module: listen on *:9419
Apr 18 22:21:13 localhost mfsmaster[54691]:master <-> chunkservers module: listen on *:9420
Apr 18 22:21:13 localhost mfsmaster[54691]:main master server module: listen on *:9421
Apr 18 22:21:13 localhost mfsmaster[54691]:open files limit: 5000
[root@mfsmaster mfs]# mfscgiserv start #（mfs的图形监控，python编写）
lockfile created and locked
starting simple cgi server (host: any ,port: 9425 , rootpath:/ane/mfs-1.6.27/share/mfscgi)
[root@mfsmaster mfs]# netstat -tnulp | grep:94
tcp 0 0 0.0.0.0:9419 0.0.0.0:* LISTEN 54691/mfsmaster
tcp 0 0 0.0.0.0:9420 0.0.0.0:* LISTEN 54691/mfsmaster
tcp 0 0 0.0.0.0:9421 0.0.0.0:* LISTEN 54691/mfsmaster
tcp 0 0 0.0.0.0:9425 0.0.0.0:* LISTEN 54806/python
mfsbackup-side：
安装同mfsmaster；
[root@mfsbackup ane]# cd mfs/etc/mfs/
[root@mfsbackup mfs]# cp mfsmetalogger.cfg.dist mfsmetalogger.cfg
[root@mfsbackup mfs]# vim mfsmetalogger.cfg #（按默认，META_DOWNLOAD_FREQ元数据备份文件下载请求频率，默认为24h，即每隔一天从master上下载一个metadata.mfs.back文件，当mfsmaster故障时，metadata.mfs.back文件消失，若要恢复整个mfs，则需从backup取得文件，并结合日志文件changelog_ml_back.*.mfs一起才能恢复整个被损坏的分布式FS；MASTER_HOST项已在hosts文件中指定）
# META_DOWNLOAD_FREQ = 24
# MASTER_HOST = mfsmaster
[root@mfsbackup mfs]# telnet 192.168.23.136 9419
Trying 192.168.23.136...
Connected to 192.168.23.136.
Escape character is '^]'.
[root@mfsbackup mfs]# vim /etc/profile.d/mfs.sh
exportPATH=$PATH:/ane/mfs/bin:/ane/mfs/sbin
[root@mfsbackup mfs]# . !$
. /etc/profile.d/mfs.sh
[root@mfsbackup mfs]# mfsmetalogger start #（只有进程无监听的端口）
working directory: /ane/mfs-1.6.27/var/mfs
lockfile created and locked
initializing mfsmetalogger modules ...
mfsmetalogger daemon initialized properly
[root@mfsbackup mfs]# ll /ane/mfs/var/mfs/ #（日志文件位置）
total 12
-rw-r-----. 1 mfs mfs 0Apr 18 23:02 changelog_ml_back.0.mfs
-rw-r-----. 1 mfs mfs 0Apr 18 23:02 changelog_ml_back.1.mfs
-rw-r--r--. 1 root root 8 Apr 18 22:47 metadata.mfs.empty
-rw-r-----. 1 mfs mfs 95Apr 18 23:02 metadata_ml.mfs.back
-rw-r-----. 1 mfs mfs 10Apr 18 23:04 sessions_ml.mfs
[root@mfsbackup mfs]# netstat -an | grep ESTABLISHED
tcp 0 52 192.168.23.137:22 192.168.23.1:1555 ESTABLISHED
tcp 0 0 192.168.23.137:36622 192.168.23.136:9419 ESTABLISHED
mfsdata-side：
安装同mfsmaster；
生产中至少3台以上；
[root@mfsdata ~]# df -h #（用独立的磁盘放数据，生产上一般用raid1/raid10/raid5）
……
/dev/sdb1 5.0G 138M 4.6G 3% /mfsdata
[root@mfsdata ~]# cd /ane/mfs/etc/mfs/
[root@mfsdata mfs]# cp mfschunkserver.cfg.dist mfschunkserver.cfg
[root@mfsdata mfs]# cp mfshdd.cfg.dist mfshdd.cfg
[root@mfsdata mfs]# vim mfschunkserver.cfg #（按默认）
[root@mfsdata mfs]# vim mfshdd.cfg #（此文件配置挂载点）
/mfsdata
[root@mfsdata mfs]# chown -R mfs.mfs /mfsdata/
[root@mfsdata mfs]# vim/etc/profile.d/mfs.sh
exportPATH=$PATH:/ane/mfs/bin:/ane/mfs/sbin
[root@mfsdata mfs]# . !$
. /etc/profile.d/mfs.sh
[root@mfsdata mfs]# mfschunkserver start
working directory: /ane/mfs-1.6.27/var/mfs
lockfile created and locked
initializing mfschunkserver modules ...
hdd space manager: path to scan: /mfsdata/
hdd space manager: start background hddscanning (searching for available chunks)
main server module: listen on *:9422
no charts data file - initializing emptycharts
mfschunkserver daemon initialized properly
[root@mfsdata mfs]# ls /mfsdata/
00 0A 14 1E 28 32 3C 46 50 5A 64 6E 78 82 8C 96 A0 AA B4 BE C8 D2 DC E6 F0 FA
01 0B 15 1F 29 33 3D 47 51 5B……
[root@mfsdata mfs]# netstat -an | grepESTABLISHED
tcp 0 52 192.168.23.138:22 192.168.23.1:1650 ESTABLISHED
tcp 0 0 192.168.23.138:53956 192.168.23.136:9420 ESTABLISHED
[root@mfsdata mfs]# df -h
Filesystem Size Used Avail Use% Mounted on
……
/dev/sdb1 5.0G 139M 4.6G 3% /mfsdata
注：#df -h的结果与web监控界面显示的不一样，相差256M，当mfs上的
本文转自 chaijowin 51CTO博客，原文链接：http://blog.51cto.com/jowin/1917438，如需转载请自行联系原作者
