深入对比Java与Hadoop大数据序列化机制Avro

  1. 云栖社区>
  2. Java技术进阶>
  3. 博客>
  4. 正文

深入对比Java与Hadoop大数据序列化机制Avro

徐雷frank 2019-01-17 23:08:22 浏览1252
展开阅读全文

Java有自己提供的序列化机制,而我们的Hadoop也提供了自己的序列化机制,二者究竟有什么差异呢?为什么Hadoop要重新设计自己的序列化体系?序列化大数据对象的过程,Writable接口底层源码实现。
首先我们先了解一下什么是序列化,为什么需要序列化?
1、序列化机制Serialization
序列化Serialization,是将结构化对象转换为字节流以便通过网络传输或写入持久存储的过程。 中文也有翻译为:串行化。
Java_Serialization_

反序列化deSerialization相反,是将字节流转换回一系列结构化对象的相反过程。 序列化用于分布式数据处理的两个截然不同的领域:进程间通信和持久存储。

2、Java序列化
Java对象序列化JDK 1.1引入,将Java对象转换为用于存储或传输的字节数组的机制,这样所述字节数组可以再转换回Java对象。Java提供了

网友评论

登录后评论
0/500
评论
徐雷frank
+ 关注
所属云栖号: Java技术进阶