高德SD地图数据生产自动化技术的路线与实践(道路篇)

简介: 云栖号资讯:【点击查看更多行业资讯】在这里您可以找到不同行业的第一手的上云资讯,还在等什么,快来! 一、背景及现状 近些年,国内道路交通及相关设施的基础建设日新月异。广大用户日常出行需求旺盛,对所使用到的电子地图产品的数据质量和现势性提出了更高的要求。

云栖号资讯:【点击查看更多行业资讯
在这里您可以找到不同行业的第一手的上云资讯,还在等什么,快来!


一、背景及现状

近些年,国内道路交通及相关设施的基础建设日新月异。广大用户日常出行需求旺盛,对所使用到的电子地图产品的数据质量和现势性提出了更高的要求。传统的地图数据采集和生产过程,即通过采集设备实地采集后对采集资料进行人工处理的模式,其数据更新慢、加工成本高等问题矛盾日益突显。

高德地图凭借视觉AI和大数据技术优势引领地图数据产业变革,通过图像AI技术从采集资料中直接识别提取各类数据要素,为实现机器代替人的作业模式提供最坚实的技术基础。

高德地图通过对现实世界高频高密度的数据采集,运用图像视觉AI能力,在海量的采集图片库中自动检测识别并确定出各种交通标志标线标牌的内容及位置,再通过与历史资料信息的对比,能快速发现现实世界的变化信息,同时结合强大而专业的数据融合能力,实现100%信息融入,从而构建出高现势性的全国基础地图。

综上,通过算法、地图工程的深度技术合作,以及与资料采集、数据生产的业务拉通,搭建一条以图像识别、位置服务、差分过滤、数据融合等为核心技术的基础地图数据生产全自动化产线,从而建立起从真实世界到地图应用终端,高效高质量的数据信息流水线生产通道。

二、自动化产线的可行性及重点

从图像物体分类和检测进展来看,图像物体的分类和检测已经有几十年的历史,涌现了一系列经典的算法。近些年随着图像识别技术特别是深度学习技术的快速发展及GPU计算能力的发展,分类和检测技术有了极大的提升。

从自动化需要的大数据来看,高德地图专注地图数据制作十几年,积累了覆盖全国、丰富且准确的数据,加之每天拥有大量采集信息的汇入,这些数据都成为算法训练天然的样本池;同时一整套专业化、标准化的地图生产作业规范为数据融合打下了坚实的理论基础。

因此,从算法储备能力、数据和工艺的积累来看,自动化产线搭建具有较强的可行性,其重点围绕着以下四部分组成:

图像识别:图像识别的目标是从输入图像中解析出地图数据相关的现实信息,通过检测、识别图片中的交通标志标线标牌信息,细分其类型,并理解其中的数字和文字,以文本形式表达内容。此外,由于输入的是连续图像,单个标志标线标牌可以在多个图像上观察到,因此整合多张图像中的同一信息,并选择最合适的图像作为主图展示。

位置服务:基于低精度GPS和采集图像,位置服务推算出自身和场景物体的精确位置,并映射到地图数据中。其中包括图像道路理解、标志位置解析、采集轨迹匹配等核心能力。依据轨迹特性和道路连通性,建立对定位位置、角度、速度等与候选道路关系的匹配概率模型,将轨迹关联到地图数据上。通过对多张图片中场景的理解,给出图片相对于路口的相对位置,结合地图道路数据的形态,进一步确定物体的作用位置。

图像差分和语义过滤:目的是将新采集资料与已有母库中的数据进行一致性对比,自动将相同的信息进行差分与过滤操作,留下变化的信息。

两者不同之处在于前者是检测相同位置新一次采集的图片相对于历史采集图片是否有变化,从轨迹和图像本身的角度对比;后者从数据的角度看图像识别后内容,对于母库数据是否有变化,从地图语义的角度做比较。

基于位置的数据融合:图像识别的成果,结合位置服务提供的作用位置,获取到作用道路。通过抽象路口的模型,在该道路或路口做数据融合,即新增或者更新地图数据。

三、 关键技术能力

1.图像识别

图像识别主要面临三大挑战:一方面场景多样,类型繁多。待检测对象种类繁多,如交通标志标牌、地面引导线、电子眼等。比如正常的方向信息标牌如下图:

1

特殊的方向信息牌标牌:

2

而同类检测对象的样式也是繁杂的,国标通用的交通标志有几百个类型,而各地也会有一些地方特色的交通标志,所以需支持定制化检测识别。常见标牌形状多样,三角、圆形、方形、菱形、八边形等,同时颜色分布广泛,如黄色、红色、蓝色、绿色、黑色、白色等,另外,还需要排除自然场景内一些类似交通标志的标语、广告牌等,以减少对识别准确率的影响。

3

另一方面,在自然场景下图片质量差异巨大,其中很多图像质量偏低。再加上面临遮挡、逆光、雨雪天等极端户外场景。这些在检测环节都是要重点考虑及解决的问题。

4

最后,待检测对象的尺寸差异较大,大如方牌(几百个像素大小),小如电子眼、交通灯(十几个像素大小)。而小尺度检测,辨识度很差,对检测算法有比较高的要求。

综上,对于算法能力本身而言,交通标志检测实际上是一个多类型的目标检测任务,主流的方法是基于深度学习的End2End方案,在一个网络中同时完成检测与细分类任务。常用的dataset一般是PASCAL VOC(20类)和COCO(90类)等。

根据业务的实际需要,整个方案分为目标检测与精细分类两部分组成,目标检测阶段通过Faster-RCNN在图片中检测所有的交通标志,该阶段要求极高的召回率和执行速度,相应在准确率方面可以放宽要求;精细分类阶段对目标检测阶段得到候选框,然后进行精细分类并滤除噪声,最终保证极高的召回率和准确率。

2.位置服务

轨迹漂移对位置匹配地图的准确性一直都是极大的挑战,一方面平行路、高架场景,尤其是主辅路这种距离1-2个车道的平行路,需要很高的定位精度,常规的GPS定位精度在5-10m,很难达到80%的主辅路识别率。另外基础地图数据本身也存在GPS精度问题。

通过规则及隐马尔科夫模型的学习、推理以及维特比算法等基础理论以外,合理地抵抗定位漂移问题,是轨迹匹配成功的关键。通过对轨迹形态进行学习和总结,找出其规律,建立符合其特性的概率模型,精准地表达匹配建立过程,合理地平衡匹配准确性和抗漂移能力二者之间的关系。另外,通过长轨迹的连通性和图像识别车道数或道路位置关系,以解决平行路的部分场景的问题。

而对作用道路和作用位置的确定,目前依赖于图像识别对于路口位置的识别及融合对地图数据场景的理解和判断,例如标牌对路或路口的相对位置靠识别本身很难确定,需要融合对数据路网数据特性的理解和判断,这种判断比较复杂,人一眼就看明白了,但是机器很难用规则去描述。所以,通过路段中直行、路口中直行及拐弯等场景的分析,对比地图路段或路口的模型,来确定作业道路,根据不同属性计算作用位置。

3.图像差分和语义过滤

图像差分主要会面临资料对齐问题,即同一位置的多次采集资料,会受GPS自身精度及因卫星信号遮挡导致的漂移带来的所在道路判断偏差的影响。另外,在语义识别上,受自然环境下的环境因素,如遮挡、模糊、阴影、雨雪天气、视角变化等,会影响后续算法对图像的深层语义信息(如类型、内容等)的解析。两种因素的叠加,在多张图像和语义的一致性比对时,难度就提高了不少。

这方面,算法大幅快速提升了识别和一致性判断的准确率,以避免错误匹配对数据更新的影响。图像差分分为资料对齐和局部匹配两部分,资料对齐回答两次采集图像是否在同一位置、视角等,通过GPS轨迹粗筛、图像匹配等手段,判断两张图像的位置关系。局部匹配则需要回答两个物体是否为同一类型,对于有文本内容的物体,还需要检测版式、文本的一致性。因此除引入常见的点特征匹配技术外,也使用了基于深度学习的图像匹配网络。对于文本内容部分,借助OCR能力完成内容的理解和解析,最终判断两次采集的内容完全一致性。

4.基于位置的数据融合

由于现实世界的复杂性,地图生产经验积累形成了大量标准化地图数据制作规范,这些都是能合理抽象、准确表达现实世界的无形资产。即便现实路网形态千奇百怪,但都能通过模型进行抽象归类,建立不同场景下相对通用的地图数据模型,从而在其上建立沉淀大量的地图数据处理的工具类和方法,以确保数据自动化融合能力的广泛使用。

5

四、总结

高德SD基础地图数据生产自动化实现,本质上就是在基础地图数据生产过程中,引入图像AI技术和数据融合技术,结合多年地图数字化生产作业规范及经验,创新出一套面向资料的自动化生产线,形成自动化解放人工持续提供高效高质量的地图数据,以解决地图供应商生产产线专业化程度高、人工成本大、作业效率低等产线问题,最终满足广大用户出行过程对电子地图产品数据现势性的需求。

【云栖号在线课堂】每天都有产品技术专家分享!
课程地址:https://yqh.aliyun.com/live

立即加入社群,与专家面对面,及时了解课程最新动态!
【云栖号在线课堂 社群】https://c.tb.cn/F3.Z8gvnK

原文发布时间:2020-05-25
本文作者:高德技术
本文来自:“掘金”,了解相关信息可以关注“掘金”

相关实践学习
基于函数计算实现AI推理
本场景基于函数计算建立一个TensorFlow Serverless AI推理平台。
相关文章
|
4天前
|
数据采集 存储 API
网络爬虫与数据采集:使用Python自动化获取网页数据
【4月更文挑战第12天】本文介绍了Python网络爬虫的基础知识,包括网络爬虫概念(请求网页、解析、存储数据和处理异常)和Python常用的爬虫库requests(发送HTTP请求)与BeautifulSoup(解析HTML)。通过基本流程示例展示了如何导入库、发送请求、解析网页、提取数据、存储数据及处理异常。还提到了Python爬虫的实际应用,如获取新闻数据和商品信息。
|
15天前
|
运维 监控
现代运维中的自动化技术应用与挑战
现代运维工作中,自动化技术的应用已成为提高效率、降低成本的重要手段。本文探讨了自动化技术在运维领域的应用现状和挑战,包括自动化工具的选择、实施过程中的注意事项以及未来发展趋势。通过深入分析,帮助读者更好地理解和应用自动化技术,提升运维工作效率。
12 2
|
22天前
|
运维 监控 持续交付
构建高效自动化运维体系:策略与实践
在数字化时代,企业IT基础设施的管理和维护变得日益复杂。为了提高效率、降低错误率并快速响应市场变化,构建一个高效的自动化运维体系至关重要。本文将探讨自动化运维的核心策略,并通过实际案例分析展示如何将这些策略应用于日常管理中,以实现IT运维的优化。
15 0
|
1天前
|
运维 Kubernetes Devops
构建高效自动化运维体系:DevOps与容器技术融合实践
【4月更文挑战第15天】 在当今快速发展的信息技术时代,传统的IT运维模式已难以满足业务敏捷性的需求。本文旨在探讨如何通过整合DevOps理念和容器技术来构建一个高效的自动化运维体系。文章将详细阐述DevOps的核心原则、容器技术的基础知识,以及两者结合的优势。此外,文中还将分享一系列实践经验,包括持续集成/持续部署(CI/CD)流程的搭建、微服务架构的应用,以及监控和日志管理策略的优化,以期帮助企业实现快速、可靠且安全的软件交付过程。
|
1天前
|
测试技术 持续交付 Docker
Django中的自动化部署与持续集成实践
【4月更文挑战第15天】本文介绍了Django项目中自动化部署与持续集成的实践方法。自动化部署通过选择Ansible、Fabric或Docker等工具,编写部署脚本,配置持续集成工具(如Jenkins、GitLab CI),确保服务器环境一致,实现快速应用上线。持续集成则涉及配置版本控制系统,设置自动化构建和测试,编写全面的测试用例,集成代码质量检查工具,并配置通知机制,以提升代码质量和开发效率。这两者结合能有效提升项目的迭代速度和可靠性。
|
8天前
|
运维 监控 Kubernetes
构建高效自动化运维体系的实践与思考
【4月更文挑战第8天】在数字化时代,IT基础设施的复杂性日益增加,传统的手工运维模式已经难以满足快速响应和高效率的需求。本文将探讨如何通过自动化工具和策略构建一个高效的自动化运维体系,旨在提高系统的稳定性、减少人为错误以及优化资源分配。文章首先分析了自动化运维的必要性,接着介绍了实现自动化的关键技术和工具,并通过案例分析展示自动化运维体系的实际效果。最后,对自动化运维的未来发展趋势进行了展望。
|
8天前
|
敏捷开发
【sgCreateTableData】自定义小工具:敏捷开发→自动化生成表格数据数组[基于el-table]
【sgCreateTableData】自定义小工具:敏捷开发→自动化生成表格数据数组[基于el-table]
|
24天前
|
敏捷开发 IDE 测试技术
深入理解自动化测试框架Selenium的设计理念与实践
随着敏捷开发和持续集成的理念深入人心,自动化测试在软件开发周期中扮演着越来越重要的角色。Selenium作为一个广泛使用的自动化测试工具,其设计理念和实践对于提高测试效率和质量具有指导意义。本文将深入探讨Selenium的核心设计原则、架构以及最佳实践,旨在帮助读者构建更稳定、高效的自动化测试系统。
|
24天前
|
jenkins 测试技术 持续交付
深入理解自动化测试框架设计原则与实践
本文旨在探讨自动化测试框架的设计原则及其在实际项目中的应用。通过对自动化测试框架的系统剖析,我们揭示了有效构建和维持测试框架的核心要素,并提供了一套实用的指导方案来帮助读者实现高效、可靠的自动化测试流程。文章不仅聚焦于框架的技术细节,也强调了灵活性、可维护性和可扩展性在设计时的重要性,同时结合实际案例分析,展示了如何在不同测试环境中定制化和优化测试框架。
|
20天前
|
Web App开发 Python
在ModelScope中,你可以使用Python的浏览器自动化库
在ModelScope中,你可以使用Python的浏览器自动化库
15 2

热门文章

最新文章