阿里云DataWorks 关注 DataWorks 数据工场

PostGreSql里的列为JSON类型同步到ODPS

  1. 云栖社区>
  2. 阿里云DataWorks>
  3. 博客>
  4. 正文

PostGreSql里的列为JSON类型同步到ODPS

lijen 2018-03-08 15:57:44 浏览19833 评论1

摘要: 场景 将PostGreSql的JSON类型同步到ODPS里的String类型,目前的数据集成是不支持,但是可以在字段映射界面用相应的函数做类型转换。 Q: 用户的request列是json类型,将其同步到odps的string类型报下面的问题。

场景

将PostGreSql的JSON类型同步到ODPS里的String类型,目前的数据集成是不支持,但是可以在字段映射界面用相应的函数做类型转换。

Q: 用户的request列是json类型,将其同步到odps的string类型报下面的问题。

1

A: 在映射字段进行类型转换json_col::json#>>'{}'里的json_col是PostGreSql相应的列名:

{
  "configuration": {
    "reader": {
      "plugin": "postgresql",
      "parameter": {
        "datasource": "l_PostGreSql",
        "column": [
          "json_col::json#>>'{}'"
        ],
        "where": "",
        "splitPk": "",
        "table": "public.json_table"
      }
    },
    "writer": {
      "plugin": "stream",
      "parameter": {
        "print": "true"
      }
    },
    "setting": {
      "speed": {
        "concurrent": "1",
        "mbps": "1"
      }
    }
  },
  "type": "job",
  "version": "1.0"
}

对应的向导模式界面:

2

关于PostGreSql里的类型转换可以参考文档:函数转换官方文档

注意:其他的数据库本身支持相应的函数转换类型也可以根据上面的方法运用在数据集成里。

【云栖快讯】阿里云栖开发者沙龙(Java技术专场)火热来袭!快来报名参与吧!  详情请点击

网友评论

1F
1486821399873474

学习到了