Facebook的图片存储

简介: 为了减少对昂贵的存储解决方案(诸如NetApp和Akamai,我所在的单位用了一套NetApp,性能和稳定性都不错,价格当然也不菲),Facebook在2009年4月的时候推出了一套新的,名为Haystack的图片存储系统,来一个对每个月85亿次的图片上传(每天500G)。

为了减少对昂贵的存储解决方案(诸如NetAppAkamai,我所在的单位用了一套NetApp,性能和稳定性都不错,价格当然也不菲),Facebook在2009年4月的时候推出了一套新的,名为Haystack的图片存储系统,来一个对每个月85亿次的图片上传(每天500G)。

Jason Sobel,NetApp的前工程师主持了这次改造,基本的架构来自于2008年的 Stanford ACM presentation by Jason Sobel。新的架构让Facebook使用普通的服务器就能够支撑图片存储的需求,减少了对CDN的依赖。

image

Facebook有两种主要的图片存储类型,也是所有社交网站共同的特点:头像和相册。用户上传相册,以档案的形式存放,很少会删除,也不会立即读取。头像则是每个人都会拥有,并且有不同的尺寸。过去,Facebook极度依赖CDN来保护自己的服务器遭受大量的访问。

头像则使用了 Cachr ,一个使用 evhttp 和 memcached 后台的图片服务器,能够缓存那些被大量访问的图片。

不需要POSIX

Facebook的图片被世界各地的人们浏览,图片命名也包含了很多有用的信息。

/[pvid]_[key]_[magic]_[size].jpg

传统的文件系统被POSIX标准通知,每个文件都需要有元数据和进入方法。这种文件系统是为了权限管理而设计的,但是Internet中的文件系统则不需要这么多额外的信息。

  • File length
  • Device ID
  • Storage block pointers
  • File owner
  • Group owner
  • Access rights on each assignment: read, write execute
  • Change time
  • Modification time
  • Last access time
  • Reference counts

 

image

Haystack 存储10GB的数据只需要10Mb的元数据,这些原数据可以驻留在内存中,这样读取文件的时候就只需要一次磁盘寻道。Cachr仍然是第一道防线,快速的处理对于图片的请求。

 

 

参考资料:

1、Facebook’s photo storage rewrite

相关文章
|
安全 测试技术
因图片处理软件一个漏洞,Facebook给出历史最高漏洞赏金
本文讲的是因图片处理软件一个漏洞,Facebook给出历史最高漏洞赏金,ImageMagick是一个免费开源的图像处理软件,用于创建、编辑、合成图片,可运行于大多数的操作系统,支持PHP、Ruby、NodeJS和Python等多种语言,使用非常广泛。
1361 0
|
8月前
|
机器学习/深度学习 算法 决策智能
【重磅开源】Facebook开源 Nevergrad:一种用于无梯度优化的开源工具
【重磅开源】Facebook开源 Nevergrad:一种用于无梯度优化的开源工具
|
12月前
|
缓存 数据可视化 测试技术
开源多年后,Facebook这个调试工具,再登Github热门榜
让许多工程师合作开发大型应用大多会面临一个挑战,通常没有一个人知道每个模块是如何工作的,这种技能会让开发新功能、调查Bug或优化性能变得困难,为了解决这个问题,Facebook创建并开源了Flipper,一个可扩展的跨平台的调试工具,用来调试 iOS 和 Android 应用。近日又双叒登上了Github热榜。