快来围观!阿里云行业视觉智能诊断技术

  1. 云栖社区>
  2. 云栖大会>
  3. 博客>
  4. 正文

快来围观!阿里云行业视觉智能诊断技术

斑马不睡觉 2018-05-04 11:04:07 浏览2794
摘要:本文整理自2018深圳云栖大会阿里巴巴达摩院MIT高级算法专家黄英的演讲。本文从视觉诊断的简介、行业现状、技术实现流程和案例几个方面进行了介绍。通过本文的阅读可以对视觉智能诊断和阿里云的视觉智能诊断技术平台有一个初步的了解。
演讲嘉宾简介:三湘(黄英),阿里巴巴达摩院MIT高级算法专家。

数十款阿里云产品限时折扣中,赶紧点击这里,领劵开始云上实践吧!

本次直播视频精彩回顾,戳这里!
本次分享主要包括以下内容:
1、 视觉识别介绍
2、 行业视觉诊断分析
3、 阿里云视觉诊断技术平台
4、 技术实现流程
5、 案例分享

一、 视觉识别介绍
视觉识别是以图像或视频作为输入,利用深度学习的方式实现对图像或视频内容的理解。现在阿里云已有许多视觉识别的商业化产品。在行业视觉诊断及解决方案方面的研究,也正在进行中。
 dc1baa761f235923e5f3a99324421aeb84f4bc67

下图所示的是人脸/图像识别API服务的简单介绍,详情大家可以在阿里云的官网上找到,这里不再赘述。
 406bb38157f2309354240057f484d134ee958c47

下图展示了人脸识别的一些解决方案包括上海申通地铁人脸识别闸机和杭州云栖大会闸机。
33a40be4bce11d6a4b1976c5c1820261b749479d
 
那么,什么是行业视觉诊断呢?
下面展示了几个例子。左上第一张图展示了一张电池板,一般来说,电池板上可能存在各种各样的缺陷,图中所示的电池板上存在一条明显的裂纹。目前,这样的缺陷识别都是依靠人眼一张一张去看的,一天可能需要看上千张。而以右下的列车故障诊断为例,一天可能需要看十万张这样的图片。这也就对人的要求非常高。因此,我们希望通过深度学习和图像识别算法实现全自动的生产流程,从而节省人力。
 4e4c2473fbad2db291ade60615b1473d49a2c20d

二、 行业视觉诊断现状
下面介绍一下行业视觉诊断的现状。通过与大量客户的接触,我们发现了以下三种主要的类型。第一种,无摄像头拍照,全人工实现。第二种,有摄像头拍照,全人工观察。第三种,有摄像头,有简单分析功能。
由这些现状带来了一些问题,首先,人力成本高,一年可能需要上百万,上千万甚至上亿的人力成本。其次,人的情绪对质控影响大。同时,由于大量的人工参与使得生产流程无法实现全自动化。
因此,智能诊断的价值就得以体现了。第一,智能诊断可以大幅节省人力。第二,可以促进产线自动化。第三,算法不断迭代,精度可逐渐稳定可靠。
 67a25316712197151a2ab7eb8eeddc9d3fc65688

三、阿里云视觉诊断技术平台
下图展示了阿里云的视觉诊断技术平台。
 98569ff66c592340909bc27db90d9a9442d37074

下图展示了技术实现方案,包括七个模块。下面对这七个模块进行详细介绍。
 c2402bc61103199b0e95fc7ea677404faa5e3a33

可行性分析。
传统行业中,并不是所有图像或案例都可以用图像识别的方式来实现的。在接触一个新的行业、方向或新的客户时,首先要进行可行性分析。判断当前问题,以现有的技术水平,包括现有的数据处理水平,摄像头拍摄水平,能否实现解决。
下图展示了可行的三个案例,这些诊断内容都是肉眼可分辨的,以现有的技术水平而言都是可以实现的。
 01e4234606adfde7c01dcb32eafc047e3afd6a1e

但有一些诊断内容是肉眼分辨困难的。下图左,组件间有一根头发丝,这样的情形依靠人眼是很难发现的。即使交给图像识别算法,精度也不会太高,属于“存疑”的范畴。下图右展示的是拉链方块断裂的情况。这也是比较难以识别的一个案例,在人工识别的过程中,可能也需要辅以触摸的方式才能发现。这样的案例就属于需要特别分析才能确定是否可行。
 a3af35f456edafd559e66f2373d4e5db90fdcfff

第三种是诊断内容肉眼无法分辨,需要辅助措施。如下图左,轮胎内胎壁薄厚检测,和下图右稻壳含水量计算问题,在检测过程中,需要通过手捏的方式才能完成。这类问题通过目前的图像识别技术是无法实现的。
 ad0e14f3113fc9f070d1c290336dcd44dd188c79

数据采集
如果通过第一步判断案例可行,那么就进行第二步,数据采集。这里列了一些常见的成像设备、成像要求以及数据采集的要求。
 1b1a0dfa8bcd8443dcad4fd449b09aaf1cde570f

数据和方案分析
在满足了上述条件后,才可以进行第三步,数据和方案分析。主要分为下面五种方案。
1、 目标检测网络,即用方框将目标缺陷位置框起来。可用于黑斑、污点等的检测。
 7b78fc821e780e25646c7701bac30629526aff27

2、 目标分割网络。比如一个大型机上有一块区域生锈裂开,需要将这块区域精准的划分出来,计算生锈面积,从而判断是否存在危险。
 3a4cc5a2fec915867a7b89071c036d12da077a63

3、 目标检测+分类网络。可用于检测器件故障、变形等问题。
ef83837363244c6144589377d1ee10573bb673d5
 
4、 目标检测+回归网络。可用于段栅条数、密度估计等问题。
 026c46b8d5ab06cceccfac23e06a1485e13b91b7

5、 目标检测+行为分析。可用于养殖行为分析等。 
 6a485a523f86b5bb8dc234172aa8766dc9a9d0df

数据标注
下一步就是进行数据的标注,阿里云就提供了行业数据标注平台。
 558c9e98acb660e0e1a17811de61d60e03b00ee1

下图展示了标注平台的一个标注案例。
 9af7afcfde1950694df6e6c772853e1b8610f002

深度学习模型训练
数据标注完成后,就可以进行深度学习模型的训练。
下图简要展示了一个训练框架。
 c0eae9de8b602360c50657991a6877b6c757c227

前向网络优化
由于客户对于效率要求非常高,因此要在各方面进行优化。
 c7f4685a42844c1b740af3b10a4b32bdf56e8a83

服务部署
在国家行业方向,目前阿里所能接触到客户绝大部分是希望将服务部署在内部网络。部署在公有云上时有时会遇到网络延迟等问题。下图展示的整个框架是可以支持在本地私有化部署的。现有的图像识别技术,为了确保效率,一般都是建议使用GPU来实现的。
 e586fa0c663d4d6daef951a427b3e57ddac6d6e0

现场联调
就是要根据用户现场的情况进行实测,收集样本并训练。当满足客户的精度和效率指标后才进行交付。
 8b8c1b332e69cec62dc912b0ac337841222ab3e8

以上就是视觉诊断从需求到部署的流程。

五、案例分享
下面分享一些案例。第一个案例是太阳能电池片裂纹的检测,这时目前产线自动化中做的比较好的一个方向。首先,照片都是由高分辨率红外相机拍摄的,比较清晰,可以将特点很好地保存。这一应用目前已经达到较高的精度并节省了人力。
 38417bab56c0895fa2e730fbc31ff39c011baf67

第二个案例是列车故障诊断。这一应用方向相对于电池片的检测而言,要稍复杂。通过智能诊断可以节省大量的人力。但在小概率故障方面,由于这类样本太少,导致精度不高。
 a58f713cb5890effda8b663febca330a4cb904b0

第三个案例是钢卷安全检测。
 cc6028f52d9d408896da7964bbd4acb8df2e382b

最后是阿里正在进行中的诊断平台。刚开始实现的是项目解决方案的部分,后续希望将整个智能诊断模块完全产业化。
a558511e63582fc207eed17119713e33a6d92d88

 本文由云栖志愿小组马JY整理