在java项目中的mongodb的_id被fastjson转为json时竟然丢失了

本文涉及的产品
云数据库 MongoDB,通用型 2核4GB
简介: fastjson是阿里开发的一个javaBean和json解析器和封装器(源码位置),用过几次感觉挺好用的,也是国人的开源项目当然得支持,但最近项目在使用mongodb作为数据库时出现了_id丢失的问题,现将我遇到的问题和解决办法展示一下。现将错误的程序代码添加上,然后再提供解决方法:package org.jivesoftware.openfire.plugin.f

fastjson是阿里开发的一个javaBean和json解析器和封装器(源码位置),用过几次感觉挺好用的,也是国人的开源项目当然得支持,但最近项目在使用mongodb作为数据库时出现了_id丢失的问题,现将我遇到的问题和解决办法展示一下。

现将错误的程序代码添加上,然后再提供解决方法:

package org.jivesoftware.openfire.plugin.friends.test;

import org.bson.types.ObjectId;
import org.jivesoftware.openfire.plugin.friends.util.JsonUtil;

import com.alibaba.fastjson.annotation.JSONField;

/**
 * @author Administrator
 *
 */
public class TestJson {

    private String id;

    private String __id;

    private ObjectId _id;



    public String get__id() {
        return __id;
    }

    public void set__id(String __id) {
        this.__id = __id;
    }

    public String getId() {
        return id;
    }

    public void setId(String id) {
        this.id = id;
    }

    //@JSONField(serialize=false,deserialize=false)
    public ObjectId get_id() {
        return _id;
    }

    public void set_id(ObjectId _id) {
        this._id = _id;
    }



    @Override
    public String toString() {
        return "TestJson [id=" + id + ", __id=" + __id + ", _id=" + _id + "]";
    }

    public static void main(String[] args) throws Exception {
        TestJson testJson = new TestJson();

        testJson.setId("1234567890987654");
        testJson.set__id("abcdefghijklmnopqrst");
        String json = JSON.toJSONString(testJson);
        System.out.println("json:"+json);
        TestJson tj =(TestJson)JSON.parseObject(json,TestJson.class);
        System.out.println(tj.toString());
    }
}

当然要先把fastjson和mongodb的jar包导入项目。
执行后的结果如下:

json:{"_id":"abcdefghijklmnopqrst"}
TestJson [id=null, __id=abcdefghijklmnopqrst, _id=null]
有没有发现属性id的值没有被转为JSON?
这是在项目开发中困扰了有一段时间的问题,因为开发者需要将id作为参数传递给服务器做删改查操作。而没有了id,我怎么去操作。工作一时陷入停顿。
没办法,在网上没找到解决办法,就只能去调试跟踪fastjson源码,最终发现问题所在,贴出问题出现的fastjson的源码片段:
//代码片段1
 char c3 = methodName.charAt(3);

 String propertyName;
  if (Character.isUpperCase(c3)) {
      if (compatibleWithJavaBean) {
          propertyName = decapitalize(methodName.substring(3));
      } else {
          propertyName = Character.toLowerCase(methodName.charAt(3)) + methodName.substring(4);
      }
  } else if (c3 == '_') {
      propertyName = methodName.substring(4);
  } else if (c3 == 'f') {
      propertyName = methodName.substring(3);
  } else if (methodName.length()>=5 && Character.isUpperCase(methodName.charAt(4))){
      propertyName = decapitalize(methodName.substring(3));
  } else {
      continue;
  }

该代码片段位置:src/main/java/com/alibaba/fastjson/util/TypeUtils.java中。
现在解释下我跟踪到的根源:
看这段代码

else if (c3 == '_') {
      propertyName = methodName.substring(4);
  } 

这句话就是导致_id丢失或者说id属性值丢失的原因所在,fastjson获得JavaBean对象属性作为json中key的方式是通过截取JavaBean中属性的getter方法名得到的,而c3是获取的方法名的index=3,也就是第四个字母。而因为我的getter和setter方法都是通过Eclipse快捷生成的,因此getter方法名get_id的第四个位置是下划线,而当该位置是下划线时,默认获取的属性名(也就是_id转为json中的key)是从下一个位置开始的,最终propertyName=”id”.

追踪源码:

 List<FieldInfo> getters = TypeUtils.computeGetters(clazz, aliasMap, false);

调试结果:

[id, _id]

将三个属性的调试信息显示在下面:
1.属性id的调试信息,存在fieldInfoMap中
这里写图片描述

2.属性__id(双下划线)的调试信息
这里写图片描述

3.属性_id(单下划线)的调试信息
这里写图片描述

重点是id和_id,由上面的调试信息可以看到属性id的map信息是最先存入的,最后存入的_id,但两者的key都是id,因此_id就将id的map信息给覆盖掉了,因此,也就没有了属性id对应的map值。
fieldInfoMap只是暂存信息,需要返回给调用方法使用的信息存储在fieldInfoList 中,

  List<FieldInfo> fieldInfoList = new ArrayList<FieldInfo>();
  if (containsAll) {
      for (String item : orders) {
          FieldInfo fieldInfo = fieldInfoMap.get(item);
          fieldInfoList.add(fieldInfo);
      }
  } else {
      for (FieldInfo fieldInfo : fieldInfoMap.values()) {
          fieldInfoList.add(fieldInfo);
      }

      if (sorted) {
          Collections.sort(fieldInfoList);
      }
  }

执行的代码部分:
这里写图片描述
最后返回的fieldInfoList 截图如下:
这里写图片描述

到了这里应该就大体明白了,fastjson是通过截取get方法的方式来获取属性名的,而在一般情况下,getter和setter方法通过Eclipse快捷生成,并且在属性中没有下划线开头的属性的时候,代码片段1处的方法执行是没有错误的,但错就错在如果属性以下划线开头,那么生成的json中key和JavaBean中属性就不能对应了,很容易造成本例中的误解,误认为是__id(双下划线),没有解析成功。

既然错误的根源找到了,那我们就需要提供一些办法来解决掉这些问题。

1.不使用fastjson去解析,这是一种方法,但也是在逃避fastjson的问题。
2.将_id和id赋值相同(_id->面向mongodb,id->面向开发者),那么即使id属性被覆盖,但json中的值还是能获取到的,只不过是被相同的值替代。
3.使用fastjson注解方式实现:

这里重点说一下第三种方法:

fastjson提供了注解的方式可以为指定的属性设置要序列化的名称,需要配置在setter和getter方法上。
测试过的方式有三种:
(1).在类名称上添加忽略对象注解,如@JSONType(ignores="_id")。是不是觉得这样就能在解析为json时将属性_id的影响消除?接着往下看
 boolean ignore = isJSONTypeIgnore(clazz, propertyName);
 if (ignore) {
      continue;
  }

这句代码是在获得属性propertyName之后,然后判断与注解中忽略的_id是否匹配,如果ignore=false;则将属性加入到fieldInfoMap中,否则直接进行下一次循环。

返回值就如这样:

json:{}
TestJson [id=null, __id=null, _id=null]

因为在构建fieldInfoMap时,__id(双下划线)对应的_id未被加入到fieldInfoMap中,而_id对应的id的值为空,因此生成的json就只是空对象。因此该注解也不能很好的解决该问题。

(2).在属性_id上添加注解,如@JSONField(serialize=false,deserialize=false)

@JSONField(serialize=false,deserialize=false)
private ObjectId _id;

貌似根据以前使用注解,这样子定义在属性上的不可被序列化和反序列化的注解应该可以正常使用了,但本例子又跟您开了个玩笑,即结果跟方法1的一样。

json:{}
TestJson [id=null, __id=null, _id=null]

原因就出现下面的代码中:

Field field = ParserConfig.getField(clazz, propertyName);
JSONField fieldAnnotation = field.getAnnotation(JSONField.class);
if (fieldAnnotation != null) {
    if (!fieldAnnotation.serialize()) {
        continue;
}

该代码也是在解析了属性名称之后去被获取注解的属性,因此也就会造成该注解对应的属性比实际的属性少一个下划线”_”(如果属性确实以下划线开始),那就会造成开发中被注解的属性依然序列化,而未被注解的属性却未被序列化。

要么这就是阿里在开发该解析器时对应用场景考虑不周,要么就是阿里开发人员默认认为使用者不会定义以下划线开头的属性(不过要真是这个原因,那我也无话可说了)。

(3).在属性_id的get方法上添加注解,如@JSONField(serialize=false,deserialize=false),该注解和方法2中的注解相同,不同之处就是注释的位置不同而已。

@JSONField(serialize=false,deserialize=false)
public ObjectId get_id() {
    return _id;
}

这样得出的结果是部分正确的(也就是错误的):

json:{"_id":"abcdefghijklmnopqrst","id":"1234567890987654"}
TestJson [id=1234567890987654, __id=abcdefghijklmnopqrst, _id=null]

因为序列化为json时属性名称还是错误的,但反序列化为java对象时是正确的。

关键代码如下:

JSONField annotation = method.getAnnotation(JSONField.class);
if (annotation == null) {
    annotation = getSupperMethodAnnotation(clazz, method);
}

if (annotation != null) {
    if (!annotation.serialize()) {
        continue;
    }
    ...
}

这句话是检测方法上的JSONField注解,如果有该注解,并且annotation.serialize()==false。则认为该方法及其对应的属性不被序列化,因此就执行continue,进入下一次循环,也就避免了id的map被_id的map覆盖的悲剧。同时也就能正确的将有非空值的属性转为json对象。虽然结果是正确的,但JavaBean中以下划线开头的属性对应的json中的key依然缺少一个下划线。

(4).终极解决,在属性的setter和getter方法上使用注解@JSONField(name="_id"),为其指定要序列化和反序列化后的属性名,getter是序列化为json,setter是反序列化为java对象。

以上是使用fastjson解决该问题,暂时得出结论是像类似同一JavaBean中有”_id”和”id”这样的属性,就只能使用在get方法上添加JSONField注解的方式解决。

还有其他撇开fastjson的方法:
(1).自己组串,不使用JavaBean,而直接写成json格式的字符串;
(2).改属性名,不使用类似”_id”和”id”这样的属性。
不知道为什么项目中会出现如此奇葩的定义,不过既然这样定义了,也使用了。还是做下记录比较好,也省的自己以后可能再做如此的重复工作。
(3).不为_id设置get方法,也可以获得正确的json串。但在解析为JavaBean对象时会报错。

心得:发现在使用开源框架进行开发时,如果网上没有很好的解决办法,跟踪阅读程序源码是个一举多得的好办法,即能深入了解问题根源,又能学习优秀源码,还能提高自己处理问题的能力。

相关实践学习
MongoDB数据库入门
MongoDB数据库入门实验。
快速掌握 MongoDB 数据库
本课程主要讲解MongoDB数据库的基本知识,包括MongoDB数据库的安装、配置、服务的启动、数据的CRUD操作函数使用、MongoDB索引的使用(唯一索引、地理索引、过期索引、全文索引等)、MapReduce操作实现、用户管理、Java对MongoDB的操作支持(基于2.x驱动与3.x驱动的完全讲解)。 通过学习此课程,读者将具备MongoDB数据库的开发能力,并且能够使用MongoDB进行项目开发。 &nbsp; 相关的阿里云产品:云数据库 MongoDB版 云数据库MongoDB版支持ReplicaSet和Sharding两种部署架构,具备安全审计,时间点备份等多项企业能力。在互联网、物联网、游戏、金融等领域被广泛采用。 云数据库MongoDB版(ApsaraDB for MongoDB)完全兼容MongoDB协议,基于飞天分布式系统和高可靠存储引擎,提供多节点高可用架构、弹性扩容、容灾、备份回滚、性能优化等解决方案。 产品详情: https://www.aliyun.com/product/mongodb
相关文章
|
30天前
|
JSON 前端开发 JavaScript
|
29天前
|
SQL Java 应用服务中间件
Java项目防止SQL注入的四种方案
Java项目防止SQL注入的四种方案
32 0
|
24天前
|
人工智能 监控 算法
java智慧城管源码 AI视频智能分析 可直接上项目
Java智慧城管源码实现AI视频智能分析,适用于直接部署项目。系统运用互联网、大数据、云计算和AI提升城市管理水平,采用“一级监督、二级指挥、四级联动”模式。功能涵盖AI智能检测(如占道广告、垃圾处理等)、执法办案、视频分析、统计分析及队伍管理等多个模块,利用深度学习优化城市管理自动化和智能化,提供决策支持。
142 4
java智慧城管源码 AI视频智能分析 可直接上项目
|
3天前
|
存储 JSON NoSQL
MongoDB的文档存储格式BSON和JSON的区别
MongoDB的文档存储格式BSON和JSON的区别
|
9天前
|
XML JSON JavaScript
Java中XML和JSON的比较与应用指南
本文对比了Java中XML和JSON的使用,XML以自我描述性和可扩展性著称,适合结构复杂、需验证的场景,但语法冗长。JSON结构简洁,适用于轻量级数据交换,但不支持命名空间。在Java中,处理XML可使用DOM、SAX解析器或XPath,而JSON可借助GSON、Jackson库。根据需求选择合适格式,注意安全、性能和可读性。
23 0
|
15天前
|
XML JSON JavaScript
使用JSON和XML:数据交换格式在Java Web开发中的应用
【4月更文挑战第3天】本文比较了JSON和XML在Java Web开发中的应用。JSON是一种轻量级、易读的数据交换格式,适合快速解析和节省空间,常用于API和Web服务。XML则提供更强的灵活性和数据描述能力,适合复杂数据结构。Java有Jackson和Gson等库处理JSON,JAXB和DOM/SAX处理XML。选择格式需根据应用场景和需求。
|
21天前
|
Java Maven
运行maven项目出现Error:java: JDK isn‘t specified for module ‘XXX‘
运行maven项目出现Error:java: JDK isn‘t specified for module ‘XXX‘
11 0
|
29天前
|
算法 搜索推荐 Java
利用java编写的项目设备调配系统代码示例(内含5种设备调配的算法)
利用java编写的项目设备调配系统代码示例(内含5种设备调配的算法)
13 1
|
1月前
|
Java Maven Android开发
JAVA Web项目开发创建Web项目(第一天)
JAVA Web项目开发创建Web项目(第一天)
|
1月前
|
JSON Java fastjson
JSON与Java的两种解析方式
JSON与Java的两种解析方式