网站搭建三部曲是什么?,深圳福田发现1例阳性,网站建设绪论,wordpress漂浮框针对Java对象压缩及序列化技术的探索之路 序列化和反序列化为何需要有序列化呢#xff1f;Java实现序列化的方式二进制格式 指定语言层级二进制格式 跨语言层级JSON 格式化类JSON格式化#xff1a;XML文件格式化 序列化的分类在速度的对比上一般有如下规律#xff1a;Java… 针对Java对象压缩及序列化技术的探索之路 序列化和反序列化为何需要有序列化呢Java实现序列化的方式二进制格式 指定语言层级二进制格式 跨语言层级JSON 格式化类JSON格式化XML文件格式化 序列化的分类在速度的对比上一般有如下规律Java原生序列化(青铜级别)Kryo序列化框架星耀级别KryoUtils序列化和反序列化操作Kryo有三组读写对象的方法 序列化和反序列化操作工具类KryoUtilsKryo 和 KryoRegisterKryo有两种模式: Kryo的操作模式Kryo的Register操作模式 FST序列化机制钻石级别Maven配置案例代码protostuff王者级别protostuff工具类 Fastjson钻石Maven配置 Gson钻石Jackson铂金 序列化和反序列化 序列化就是指把对象转换为字节码 对象传递和保存时保证对象的完整性和可传递性。把对象转换为有字节码以便在网络上传输或保存在本地文件中 反序列化就是指把字节码恢复为对象 根据字节流中保存的对象状态及描述信息通过反序列化重建对象 一般情况下要求实现Serializable接口该接口中没有定义任何成员只是起到标记对象是否可以被序列化的作用。 对象在进行序列化和反序列化的时候必须实现Serializable接口但并不强制声明唯一的serialVersionUID是否声明serialVersionUID对于对象序列化的向上向下的兼容性有很大的影响。
为何需要有序列化呢
一方面是为了存储在磁盘中另一方面为了网络远程传输的内容。
Java实现序列化的方式
二进制格式 指定语言层级 JavaBuiltInjava原生、JavaManual根据成员变量类型手工写、FstSerliazation、Kryo 二进制格式 跨语言层级 Protobuf(Google)、Thrift(Facebook)、 AvroGeneric、Hessian JSON 格式化 Jackson、Gson、FastJSON等 类JSON格式化 CKS textual JSON-like format、BSONJSON-like format with extended datatypes、JacksonBson、MongoDB XML文件格式化 XmlXStream等 序列化的分类 序列化工具大致就可以分为以上几类简单概括就分为二进制binary和文本格式json、xml两大类。 在速度的对比上一般有如下规律
binary textuallanguage-specific language-unspecific 而textual中由json相比xml冗余度更低因此速度上更胜一筹而json又比bson这类textual serialization技术上更成熟框架的选择上更丰富和优秀。 下面重点介绍下Kryo、fast-serialiation、fastjson、protocol-buffer
Java原生序列化(青铜级别) Java本身提供的序列化工具基本上能胜任大多数场景下的序列化任务关于其序列化机制。 需要类实现了Serializable或Externalizable接口否则会抛出异常然后使用ObjectOutputStream与ObjectInputStream将对象写入写出。 Java自带的序列化工具在序列化过程中需要不仅需要将对象的完整的class name记录下来还需要把该类的定义也都记录下包括所有其他引用的类这会是一笔很大的开销尤其是仅仅序列化单个对象的时候。 正因为java序列化机制会把所有meta-data记录下来因此当修改了类的所在的包名后反序列化则会报错。 //对象转成字节码ByteArrayOutputStream byteArrayOutputStream new ByteArrayOutputStream();ObjectOutputStream outputStream newObjectOutputStream(byteArrayOutputStream);outputStream.writeObject(VoUtil.getUser());byte []bytes byteArrayOutputStream.toByteArray();outputStream.close();//字节码转换成对象ByteArrayInputStream byteArrayInputStream new ByteArrayInputStream(bytes);ObjectInputStream inputStream new ObjectInputStream(byteArrayInputStream);Model result Model) inputStream.readObject();inputStream.close();Kryo序列化框架星耀级别 kryo根据上述Java原生序列化机制的一些问题对了很多优化工作而且提供了很多serializer甚至封装了Unsafe类型的序列化方式更多关于Unsafe类型的序列化方式。 kryo是一个快速序列化/反序列化工具效率比java高出一个级别序列化出来的结果是其自定义的、独有的一种格式体积更小一般只用来进行序列化和反序列化而不用于在多个系统、甚至多种语言间进行数据交换目前 kryo 也只有 java 实现目前已经有多家大公司使用相对比较稳定。 dependency groupIdcom.esotericsoftware/groupId artifactIdkryo/artifactId version4.0.0/version /dependency KryoUtils序列化和反序列化操作
Kryo有三组读写对象的方法
如果不知道对象的具体类且对象可以为null
kryo.writeClassAndObject(output, object);
Object object kryo.readClassAndObject(input);如果类已知且对象可以为null
kryo.writeObjectOrNull(output, someObject);
SomeClass someObject kryo.readObjectOrNull(input, SomeClass.class);如果类已知且对象不能为null:
kryo.writeObject(output, someObject);
SomeClass someObject kryo.readObject(input, SomeClass.class);序列化和反序列化操作工具类KryoUtils
Kryo 和 KryoRegister
Kryo的运行速度是java Serializable 的20倍左右 Kryo的文件大小是java Serializable的一半左右
Kryo有两种模式:
一种是先注册(regist)再写对象即writeObject函数实际上如果不先注册在写对象时也会注册并为class分配一个id。 注意跨进程则必须两端都按同样的模式否则会出错因为必须要明确类对应的唯一id。 另一种是写类名及对象即writeClassAndObject函数。
writeClassAndObject函数是先写入一个约定的数字再写入类ID第一次要先写-1再写类ID 类名写入引用关系最后才写真正的数据。
Kryo的操作模式 static Kryo kryo new Kryo();public static byte[] serialize(Object obj) {byte[] buffer new byte[2048];Output output new Output(buffer);kryo.writeClassAndObject(output, obj);byte[] bs output.toBytes();output.close();return bs;
}public static Object deserialize(byte[] src) {Input input new Input(src);Object obj kryo.readClassAndObject(input);input.close();return obj;
}
Kryo的Register操作模式 static Kryo kryo null;
static{kryo new Kryo();kryo.setReferences(false);kryo.setRegistrationRequired(false);kryo.setInstantiatorStrategy(new StdInstantiatorStrategy());
}public static byte[] serialize(Object obj) {kryo.register(obj.getClass());byte[] buffer new byte[2048];Output output new Output(buffer);kryo.writeObject(output, obj);byte[] bs output.toBytes();output.close();return bs;
}public static Object deserialize(byte[] src, Class? clazz) {kryo.register(clazz);Input input new Input(src);Object obj kryo.readObject(input, clazz);input.close();return obj;
}推荐https://blog.csdn.net/fanjunjaden/article/details/72823866 借鉴网上的一个很不错的工具类 public class KryoUtils {/*** 池化Kryo实例使用ThreadLocal*/private static final ThreadLocalKryo kryos new ThreadLocalKryo() {Overrideprotected Kryo initialValue() {Kryo kryo new Kryo();//支持对象循环引用否则会栈溢出kryo.setReferences(true);// 不强制要求注册类注册行为无法保证多个 JVM 内同一个类的注册编号相同// 而且业务系统中大量的 Class 也难以一一注册kryo.setRegistrationRequired(false); //Fix the NPE bug when deserializing Collections.kryo.setInstantiatorStrategy(new StdInstantiatorStrategy());return kryo;}};/*** 池化Kryo实例使用KryoPool*/private static KryoFactory factory new KryoFactory() {public Kryo create () {Kryo kryo new Kryo();return kryo;}};private static KryoPool pool new KryoPool.Builder(factory).softReferences().build();/*** 使用ThreadLocal创建Kryo* 把java对象序列化成byte[];* param obj java对象* return*/public static T byte[] serializeObject(T obj) {ByteArrayOutputStream osnull;Output outputnull;if(null ! obj){Kryo kryo kryos.get();try {os new ByteArrayOutputStream();output new Output(os);kryo.writeObject(output, obj);close(output);return os.toByteArray();} catch (Exception e) {e.printStackTrace();}finally {close(os);}}return null;}/*** 使用ThreadLocal创建Kryo* 把byte[]反序列化成指定的java对象* param bytes* param t 指定的java对象* param T* return 指定的java对象*/public static T T unSerializeObject(byte[] bytes,ClassT t) {ByteArrayInputStream isnull;Input inputnull;if(null ! bytes bytes.length0 null!t){try {Kryo kryo kryos.get();is new ByteArrayInputStream(bytes);input new Input(is);return kryo.readObject(input,t);} catch (Exception e) {e.printStackTrace();}finally {close(is);close(input);}}return null;}/*** 使用ThreadLocal创建Kryo* 把List序列化成byte[];* param list java对象* return*/public static T byte[] serializeList(ListT list ) {ByteArrayOutputStream osnull;Output outputnull;byte[] bytes null;if(null ! list list.size()0){Kryo kryo kryos.get();try {os new ByteArrayOutputStream();output new Output(os);kryo.writeObject(output,list);close(output);bytes os.toByteArray();return bytes;} catch (Exception e) {e.printStackTrace();}finally {close(os);}}return null;}/*** 使用ThreadLocal创建Kryo* 把byte[]反序列化成指定的ListT* param bytes byte数组* param T* return 指定java对象的List*/public static T ListT unSerializeList(byte[] bytes) {ByteArrayInputStream isnull;Input inputnull;if(null !bytes bytes.length0){try {Kryo kryo kryos.get();is new ByteArrayInputStream(bytes);input new Input(is);ListT list kryo.readObject(input,ArrayList.class);return list;} catch (Exception e) {e.printStackTrace();}finally {close(is);close(input);}}return null;}/*** 使用ThreadLocal创建Kryo* 把java对象转序列化存储在文件中;* param obj java对象* return*/public static T boolean serializeFile(T obj,String path) {if(null ! obj){Output outputnull;try {Kryo kryo kryos.get();output new Output(new FileOutputStream(path));kryo.writeObject(output, obj);return true;} catch (Exception e) {e.printStackTrace();}finally {close(output);}}return false;}/*** 使用ThreadLocal创建Kryo* 把序列化的文件反序列化成指定的java对象* param path 文件路径* param t 指定的java对象* param T* return 指定的java对象*/public static T T unSerializeFile(String path,ClassT t) {if(null ! path null !t ){Input inputnull;try {Kryo kryo kryos.get();input new Input(new FileInputStream(path));return kryo.readObject(input,t);} catch (Exception e) {e.printStackTrace();}finally {close(input);}}return null;}/*** 使用KryoPool SoftReferences创建Kryo* 把java对象序列化成byte[] ;* param obj java对象* return*/public static T byte[] serializePoolSoftReferences (T obj) {if(null!obj){Kryo kryo pool.borrow();ByteArrayOutputStream osnull;Output outputnull;try {os new ByteArrayOutputStream();output new Output(os);kryo.writeObject(output, obj);close(output);byte [] bytes os.toByteArray();return bytes;} catch (Exception e) {e.printStackTrace();}finally {pool.release(kryo);close(os);}}return null;}/*** 使用KryoPool SoftReferences创建Kryo* 把byte[]反序列化成指定的java对象* param bytes* return*/public static T T unSerializePoolSoftReferences(byte[] bytes,ClassT t) {if(null !bytes bytes.length0 null!t){Kryo kryo pool.borrow();ByteArrayInputStream isnull;Output outputnull;try {is new ByteArrayInputStream(bytes);Input input new Input(is);return kryo.readObject(input, t);} catch (Exception e) {e.printStackTrace();}finally {pool.release(kryo);close(is);close(output);}}return null;}/*** 使用KryoPool SoftReferences创建Kryo* 把java对象序列化成byte[] ;* param obj java对象* return*/public static T byte[] serializePoolCallback (final T obj) {if(null ! obj){try {return pool.run(new KryoCallbackbyte[]() {public byte[] execute(Kryo kryo) {ByteArrayOutputStream os new ByteArrayOutputStream();Output output new Output(os);kryo.writeObject(output,obj);output.close();try {os.close();} catch (IOException e) {e.printStackTrace();}return os.toByteArray();}});} catch (Exception e) {e.printStackTrace();}}return null;}/*** 使用KryoPool SoftReferences创建Kryo* 把byte[]反序列化成指定的java对象* param bytes* return*/public static T T unSerializePoolCallback(final byte[] bytes, final ClassT t) {if(null ! bytes bytes.length0 null ! t){try {return pool.run(new KryoCallbackT() {public T execute(Kryo kryo) {ByteArrayInputStream is new ByteArrayInputStream(bytes);Input input new Input(is);T result kryo.readObject(input,t);input.close();try {is.close();} catch (IOException e) {e.printStackTrace();}return result;}});} catch (Exception e) {e.printStackTrace();}}return null;}/*** 关闭io流对象** param closeable*/public static void close(Closeable closeable) {if (closeable ! null) {try {closeable.close();} catch (Exception e) {e.printStackTrace();}}}参考官方文档https://github.com/EsotericSoftware/kryo FST序列化机制钻石级别 FSTFast-serialization-Tool与kryo类似是apache组织的一个开源项目完全兼容JDK序列化协议的系列化框架序列化速度大概是JDK的4-10倍体积更小大小是JDK大小1/3左右重新实现的 Java 快速对象序列化的开发包。 相对来说是一个很新的序列化工具速度于kryo有一些差距在生产环境上的场景上测试效果几乎于kryo一致都能瞬间反序列化出内容并渲染。 Java 快速序列化库 FST 已经发布了 2.0 版本该版本的包名已经更改无法平滑升级。另外官方建议为了稳定性考虑还是使用最新的 1.58 版本为好 Maven配置
dependency groupIdde.ruedigermoeller/groupId artifactIdfst/artifactId version1.58/version
/dependency 案例代码
static FSTConfiguration configuration FSTConfiguration.createDefaultConfiguration();public static byte[] serialize(Object obj){return configuration.asByteArray((Serializable)obj);
}
public static Object deserialize(byte[] sec){return configuration.asObject(sec);
}官方文档 https://github.com/RuedigerMoeller/fast-serialization/wiki/Serialization protostuff王者级别
Protocol buffers是一个用来序列化结构化数据的技术支持多种语言诸如C、Java以及Python语言可以使用该技术来持久化数据或者序列化成网络传输的数据。相比较一些其他的XML技术而言该技术的一个明显特点就是更加节省空间以二进制流存储、速度更快以及更加灵活。
protostuff是google在原来的protobuffer是的优化产品。使用起来也比较简单易用目前效率也是最好的一种序列化工具。 dependency groupIdio.protostuff/groupId artifactIdprotostuff-core/artifactId version1.4.0/version /dependency dependency groupIdio.protostuff/groupId artifactIdprotostuff-runtime/artifactId version1.4.0/version /dependency protostuff工具类
public class ProtostuffUtil {public static T byte[] serializer(T t){Schema schema RuntimeSchema.getSchema(t.getClass());return ProtostuffIOUtil.toByteArray(t,schema,LinkedBuffer.allocate(LinkedBuffer.DEFAULT_BUFFER_SIZE));}public static T T deserializer(byte []bytes,ClassT c) {T t null;try {t c.newInstance();Schema schema RuntimeSchema.getSchema(t.getClass());ProtostuffIOUtil.mergeFrom(bytes,t,schema);} catch (InstantiationException e) {e.printStackTrace();} catch (IllegalAccessException e) {e.printStackTrace();}return t;}
}Fastjson钻石
一个JSON库涉及的最基本功能就是序列化和反序列化。Fastjson支持java bean的直接序列化。 使用com.alibaba.fastjson.JSON这个类进行序列化和反序列化。
public static String serialize(Object obj){String json JSON.toJSONString(obj);return json;
}
public static Object deserialize(String json, Class? clazz){Object obj JSON.parseObject(json, clazz);return obj;
}Maven配置 dependency groupIdcom.alibaba/groupId artifactIdfastjson/artifactId version1.2.47/version /dependency Gson钻石
这里采用JSON格式同时使用采用Google的gson进行转义.
static Gson gson new Gson();public static String serialize(Object obj){String json gson.toJson(obj);return json;
}
public static Object deserialize(String json, Class? clazz){Object obj gson.fromJson(json, clazz);return obj;
}Jackson铂金
Jackson库http://jackson.codehaus.org是基于java语言的开源json格式解析工具整个库使用最新的2.2版本包含3个jar包
jackson-core.jar——核心包必须提供基于“流模式”解析的API。jackson-databind——数据绑定包可选提供基于“对象绑定”和“树模型”相关API。jackson-annotations——注解包可选提供注解功能。
性能较高“流模式”的解析效率超过绝大多数类似的json包。 核心包JsonParserjson流读取JsonGeneratorjson流输出。 数据绑定包ObjectMapper构建树模式和对象绑定模式JsonNode树节点
public static String serialize(Object obj){ObjectMapper mapper new ObjectMapper();String json null;try {json mapper.writeValueAsString(obj);} catch (Exception e) {// TODO Auto-generated catch blocke.printStackTrace();}return json;
}
public static Object deserialize(String json, Class? clazz){ObjectMapper mapper new ObjectMapper();Object obj null;try {obj mapper.readValue(json, clazz);} catch (Exception e) {// TODO Auto-generated catch blocke.printStackTrace();}return obj;
}下表是几种方案的各项指标的一个对比
