OpenCV 模板匹配

2016-07-29 4296

版权

本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

简介： OpenCV 模板匹配目的在这篇教程中你将学会：学会使用 OpenCV 函数 matchTemplate 来搜索两个图片之间相匹配的部分学会使用 OpenCV 函数 minMaxLoc 在给定的数组中查找最大和最小值（以及位置）. 原理什么是模板匹配? 模板匹配是一项在给定的图片中查找模板图片的技术。

OpenCV 模板匹配

目的

在这篇教程中你将学会：

学会使用 OpenCV 函数 matchTemplate 来搜索两个图片之间相匹配的部分
学会使用 OpenCV 函数 minMaxLoc 在给定的数组中查找最大和最小值（以及位置）.

原理

什么是模板匹配?

模板匹配是一项在给定的图片中查找模板图片的技术。.

模板匹配是怎么工作的？

上面的图片通过滑动匹配一个 TM_CCORR_NORMED 并得到 R 结果。最高匹配值显示为最佳匹配。如你所见，红色线条标识出来的是最高值，因此该位置（矩形）就是匹配的结果。

通过模板图片的滑动，这意味着模板图片每次滑动一个像素（从左到右，从上到下）。每个不同的位置上，都会计算出一个数值来表示匹配度。
实际上我们可以使用函数 minMaxLoc 来定位在 R 阵列中最高值（或者最低值，这取决于匹配方法的类型）.

OpenCV 提供哪些匹配方法？

OpenCV 通过 matchTemplate 来实现模板匹配，提供了以下 6 种方法：

method=CV_TM_SQDIFF

$R(x,y)= \sum _{x',y'} (T(x',y')-I(x+x',y+y'))^2$
method=CV_TM_SQDIFF_NORMED

$R(x,y)= \frac{\sum_{x',y'} (T(x',y')-I(x+x',y+y'))^2}{\sqrt{\sum_{x',y'}T(x',y')^2 \cdot \sum_{x',y'} I(x+x',y+y')^2}}$
method=CV_TM_CCORR

$R(x,y)= \sum _{x',y'} (T(x',y') \cdot I(x+x',y+y'))$
method=CV_TM_CCORR_NORMED

$R(x,y)= \frac{\sum_{x',y'} (T(x',y') \cdot I(x+x',y+y'))}{\sqrt{\sum_{x',y'}T(x',y')^2 \cdot \sum_{x',y'} I(x+x',y+y')^2}}$
method=CV_TM_CCOEFF

$R(x,y)= \sum _{x',y'} (T'(x',y') \cdot I(x+x',y+y'))$

where

$\begin{array}{l} T'(x',y')=T(x',y') - 1/(w \cdot h) \cdot \sum _{x'',y''} T(x'',y'') \\ I'(x+x',y+y')=I(x+x',y+y') - 1/(w \cdot h) \cdot \sum _{x'',y''} I(x+x'',y+y'') \end{array}$
method=CV_TM_CCOEFF_NORMED

$R(x,y)= \frac{ \sum_{x',y'} (T'(x',y') \cdot I'(x+x',y+y')) }{ \sqrt{\sum_{x',y'}T'(x',y')^2 \cdot \sum_{x',y'} I'(x+x',y+y')^2} }$

代码

本程序主要功能：
- 加载图片以及要匹配的模板图片
- 使用 OpenCV 的 matchTemplate 函数执行匹配过程，并使用 6 种方法进行试验
- 对匹配输出进行规划化处理
- 定位匹配度最高的位置
- 在最高匹配的区域绘制矩形框
下载代码请点击这里
详细代码：

#include "opencv2/highgui/highgui.hpp"
#include "opencv2/imgproc/imgproc.hpp"
#include <iostream>
#include <stdio.h>

using namespace std;
using namespace cv;

/// Global Variables
Mat img; Mat templ; Mat result;
char* image_window = "Source Image";
char* result_window = "Result window";

int match_method;
int max_Trackbar = 5;

/// Function Headers
void MatchingMethod( int, void* );

/** @function main */
int main( int argc, char** argv )
{
  /// Load image and template
  img = imread( argv[1], 1 );
  templ = imread( argv[2], 1 );

  /// Create windows
  namedWindow( image_window, CV_WINDOW_AUTOSIZE );
  namedWindow( result_window, CV_WINDOW_AUTOSIZE );

  /// Create Trackbar
  char* trackbar_label = "Method: \n 0: SQDIFF \n 1: SQDIFF NORMED \n 2: TM CCORR \n 3: TM CCORR NORMED \n 4: TM COEFF \n 5: TM COEFF NORMED";
  createTrackbar( trackbar_label, image_window, &match_method, max_Trackbar, MatchingMethod );

  MatchingMethod( 0, 0 );

  waitKey(0);
  return 0;
}

/**
 * @function MatchingMethod
 * @brief Trackbar callback
 */
void MatchingMethod( int, void* )
{
  /// Source image to display
  Mat img_display;
  img.copyTo( img_display );

  /// Create the result matrix
  int result_cols =  img.cols - templ.cols + 1;
  int result_rows = img.rows - templ.rows + 1;

  result.create( result_rows, result_cols, CV_32FC1 );

  /// Do the Matching and Normalize
  matchTemplate( img, templ, result, match_method );
  normalize( result, result, 0, 1, NORM_MINMAX, -1, Mat() );

  /// Localizing the best match with minMaxLoc
  double minVal; double maxVal; Point minLoc; Point maxLoc;
  Point matchLoc;

  minMaxLoc( result, &minVal, &maxVal, &minLoc, &maxLoc, Mat() );

  /// For SQDIFF and SQDIFF_NORMED, the best matches are lower values. For all the other methods, the higher the better
  if( match_method  == CV_TM_SQDIFF || match_method == CV_TM_SQDIFF_NORMED )
    { matchLoc = minLoc; }
  else
    { matchLoc = maxLoc; }

  /// Show me what you got
  rectangle( img_display, matchLoc, Point( matchLoc.x + templ.cols , matchLoc.y + templ.rows ), Scalar::all(0), 2, 8, 0 );
  rectangle( result, matchLoc, Point( matchLoc.x + templ.cols , matchLoc.y + templ.rows ), Scalar::all(0), 2, 8, 0 );

  imshow( image_window, img_display );
  imshow( result_window, result );

  return;
}

代码解释

定义全局变量，注入图像、模板、结果阵列等等:

Mat img; Mat templ; Mat result;
char* image_window = "Source Image";
char* result_window = "Result window";

int match_method;
int max_Trackbar = 5;

加载原图和模板图:

img = imread( argv[1], 1 );
templ = imread( argv[2], 1 );

创建窗体来显示结果:

namedWindow( image_window, CV_WINDOW_AUTOSIZE );
namedWindow( result_window, CV_WINDOW_AUTOSIZE );

创建 Trackbar 给匹配方法使用，当有变化时候回调 MatchingMethod 方法.

char* trackbar_label = "Method: \n 0: SQDIFF \n 1: SQDIFF NORMED \n 2: TM CCORR \n 3: TM CCORR NORMED \n 4: TM COEFF \n 5: TM COEFF NORMED";
createTrackbar( trackbar_label, image_window, &match_method, max_Trackbar, MatchingMethod );

等待用户键入任何键以退出程序.
```
waitKey(0);
return 0;
```
检查回调函数，首先对原图做了个拷贝:
```
Mat img_display;
img.copyTo( img_display );
```

下一步创建结果阵列用来存储匹配结果，观察结果阵列的大小

int result_cols =  img.cols - templ.cols + 1;
int result_rows = img.rows - templ.rows + 1;

result.create( result_rows, result_cols, CV_32FC1 );

执行模板匹配函数:
```
matchTemplate( img, templ, result, match_method );
```
参数包含输入图片、模板图片，结果存放阵列以及匹配方法

对结果进行规范化:

normalize( result, result, 0, 1, NORM_MINMAX, -1, Mat() );

使用 minMaxLoc 在结果阵列中定位最大和最小的匹配度
```
double minVal; double maxVal; Point minLoc; Point maxLoc;
Point matchLoc;

minMaxLoc( result, &minVal, &maxVal, &minLoc, &maxLoc, Mat() );
```
该函数需要以下参数：
- result: 源数组
- &minVal 和 &maxVal: 用来存储结果中的最小和最大匹配度
- &minLoc and &maxLoc: 数组中的最小和最大匹配对应的位置点.
- Mat(): 可选的掩码值
对前两个方法 ( CV_SQDIFF 和 CV_SQDIFF_NORMED ) 来说最低值表示最佳匹配。而其他的方法则是值越高匹配度越高。因此我们在 matchLoc 变量中保存相应的值:
```
if( match_method  == CV_TM_SQDIFF || match_method == CV_TM_SQDIFF_NORMED )
  { matchLoc = minLoc; }
else
  { matchLoc = maxLoc; }
```

显示原图以及结果阵列，并在最高匹配的位置绘制矩形：:

rectangle( img_display, matchLoc, Point( matchLoc.x + templ.cols , matchLoc.y + templ.rows ), Scalar::all(0), 2, 8, 0 );
rectangle( result, matchLoc, Point( matchLoc.x + templ.cols , matchLoc.y + templ.rows ), Scalar::all(0), 2, 8, 0 );

imshow( image_window, img_display );
imshow( result_window, result );

匹配结果

测试程序的原图：

测试程序的模板图：
生成下列的结果图（前面使用的是标准方法： SQDIFF, CCORR 和 CCOEFF, 下面是经过规范化后的版本). 前三个图里，第一个图最黑表示最佳匹配，第2、3个图则是最亮为最佳匹配。
正确的匹配结果如下图所示 (黑色方框为匹配区域）。需要注意的是 CCORR 和 CCDEFF 给出了错误的匹配，但是这些错误的匹配经过规范化后结果就正确了。这是因为我们使用了最高匹配而不是可能的高匹配。