阿里云DataWorks 关注 DataWorks 数据工场

PostGreSql里的列为JSON类型同步到ODPS

  1. 云栖社区>
  2. 阿里云DataWorks>
  3. 博客>
  4. 正文

PostGreSql里的列为JSON类型同步到ODPS

lijen 2018-03-08 15:57:44 浏览19587 评论1

摘要: 场景 将PostGreSql的JSON类型同步到ODPS里的String类型,目前的数据集成是不支持,但是可以在字段映射界面用相应的函数做类型转换。 Q: 用户的request列是json类型,将其同步到odps的string类型报下面的问题。

场景

将PostGreSql的JSON类型同步到ODPS里的String类型,目前的数据集成是不支持,但是可以在字段映射界面用相应的函数做类型转换。

Q: 用户的request列是json类型,将其同步到odps的string类型报下面的问题。

1

A: 在映射字段进行类型转换json_col::json#>>'{}'里的json_col是PostGreSql相应的列名:

{
  "configuration": {
    "reader": {
      "plugin": "postgresql",
      "parameter": {
        "datasource": "l_PostGreSql",
        "column": [
          "json_col::json#>>'{}'"
        ],
        "where": "",
        "splitPk": "",
        "table": "public.json_table"
      }
    },
    "writer": {
      "plugin": "stream",
      "parameter": {
        "print": "true"
      }
    },
    "setting": {
      "speed": {
        "concurrent": "1",
        "mbps": "1"
      }
    }
  },
  "type": "job",
  "version": "1.0"
}

对应的向导模式界面:

2

关于PostGreSql里的类型转换可以参考文档:函数转换官方文档

注意:其他的数据库本身支持相应的函数转换类型也可以根据上面的方法运用在数据集成里。

用云栖社区APP,舒服~

【云栖快讯】诚邀你用自己的技术能力来用心回答每一个问题,通过回答传承技术知识、经验、心得,问答专家期待你加入!  详情请点击

网友评论

1F
1486821399873474

学习到了

lijen
文章1篇 | 关注0
关注
PostgreSQL被业界誉为“最先进的开源数据库”,面向企业复杂SQL处理的OLTP在线事... 查看详情
云数据库PPAS版,是阿里云与EnterpriseDB公司合作基于PostgreSQL高度兼... 查看详情
为您提供简单高效、处理能力可弹性伸缩的计算服务,帮助您快速构建更稳定、安全的应用,提升运维效... 查看详情
阿里云9.10会员日

阿里云9.10会员日