(4opencv)如何基于GOCW,创建一个实时视频程序

简介: 直接使用提供的代码框架进行修改,是最快得到效果的方法;但是这样的灵活性较差,而且真正的程序员从来都不会停滞在这一步:我们需要的是“将框架解析到最小化、理清楚每个构建之间的关系”,只有这样才能灵活运用。一、准备工作1、高拍仪已经接通,如果需要的话,还要安装驱动;2、vs2012编程环境,能够编写Csharp和OpenCV程序(具体不清楚可以回过头来看配置);3、是DirectShow.net(http://directshownet.sourceforge.net/docs.html)的可使用类它本身包含文档,有时间可以看一下。
直接使用提供的代码框架进行修改,是最快得到效果的方法;但是这样的灵活性较差,而且真正的程序员从来都不会停滞在这一步:我们需要的是“将框架解析到最小化、理清楚每个构建之间的关系”,只有这样才能灵活运用。
一、准备工作
1、高拍仪已经接通,如果需要的话,还要安装驱动;
2、vs2012编程环境,能够编写Csharp和OpenCV程序(具体不清楚可以回过头来看配置);
3、 img_c2e0d677d139614d96311097e05a99bf.png 是DirectShow.net(http://directshownet.sourceforge.net/docs.html)的可使用类
logo
它本身包含文档,有时间可以看一下。最新更新时间2010年。
4、 img_0c8ebf805de916505fda46bf2ad758c0.png 是由
img_b010868de78f02826946044bcb672b23.png
生成的。这里可以先立足修改已经编辑成功的项目(具体原理将在下一课讲解)
二、配置程序
1、添加引用
img_a62a550358c1d2f7b4c74b66d5236bf1.png
directshow.net的话,直接引用dll就可以了
img_ebed71bbfbbbd493edd7d08131f88623.png
2、拖动控件
使用Csharp编写界面,可以重复使用
img_f6dc423240ea14972aac3ce3c54163f7.png
的定位功能
img_c8b31e7ece23f7dbba74fe52dceff875.png
以及Dock的停靠功能
img_4c8c9edc80ebeea93a763a182ef3d6cf.png

图像显示的地方,肯定需要的是picturebox,不妨连同lena一起拷贝过来
img_8e1d965bdd6734b0e5679bfaa94e5740.jpe

由于采集处理是一个实时过程,我们采用timer控件来控制(关于是使用timer还是开线程,那种比较好,我们在框架融合的时候专门比较,并选择)
img_b1e628c83594d6d10d1286b3b9512171.png
性Interval采用50即可,以为50*24>1000,一般来说还是有认为24帧以上比较连贯。


三、编写代码
1、添加头文件和引用,并添加capture.cs
img_87d0841401be70189a73de848d5846ab.png
img_6b3b364586008add6a7309464a33760f.jpe

其中,Capture是一个专门对Directshow的采集设备的封装,里面有丰富的功能;是官方提供的代码,可以较为方向应用。
注意修改命名空间
img_4cd4e80564595810c6a3c26f5a4b55a1.jpe
2、编写选择视频准备函数(注意这里默认设备为640*480),并且我在选择的时候默认选择了第2个(序号为1)的设备,因为我用的是笔记本,有内置摄像头

相关函数的操作,注意参考相关注释

  //选择视频设备
        public void InitVideoDevice()
        {
            try
            {
                if (cam != null)
                    cam.Dispose();
                //读取参数
                int VIDEODEVICE = 1; // zero based index of video capture device to use
                const int VIDEOWIDTH = 640;// 是用默认(最大)分辨率
                const int VIDEOHEIGHT = 480// Depends on video device caps
                const int VIDEOBITSPERPIXEL = 24// BitsPerPixel values determined by device
                cam = new Capture(VIDEODEVICE, VIDEOWIDTH, VIDEOHEIGHT, VIDEOBITSPERPIXEL, picPreview  );
            }
            catch
            {
                MessageBox.Show("摄像头打开错误,请首先确保摄像头连接并至少支持1024*768分辨率!");
            }
        }
并且在form的init中进行调用,确保不能够出错
  public FormMain()
        {
            InitializeComponent();
           
            //构造摄像头数据
            foreach (DsDevice ds in DsDevice.GetDevicesOfCat(FilterCategory.VideoInputDevice))
            {
                cbCam.Items.Add(ds.Name);
            }
            //初始化摄像头
            InitVideoDevice();  
        }

此时,已经可以预览,并且获得所有视频设备
img_09bf98a4babea6788211dfc4c88719ab.jpe
4、编写timer事件
为了将OpenCV的函数融入进去,必须自己编写timer事件。在这个timer事件中,最重要的操作就是
读取directshow.net产生的结果
调用OpenCV的函数进行处理
将处理的结果反馈到directshow.net中去显示出来

 private void timer_Tick(object sender, EventArgs e)
        {
            // Release any previous buffer
            if (m_ip != IntPtr.Zero)
            {
                Marshal.FreeCoTaskMem(m_ip);
                m_ip = IntPtr.Zero;
            }
            // capture image
            try
            {
                m_ip = cam.Click();
            }
            catch
            {
                //do nothing,允许丢帧 TODO:是否改成继承上一帧更好
            }
            Bitmap b = new Bitmap(cam.Width, cam.Height, cam.Stride, PixelFormat.Format24bppRgb, m_ip);
            // If the image is upsidedown
            b.RotateFlip(RotateFlipType.RotateNoneFlipY);
            srcImage = b;
            if (picPreview.Image != null)
                picPreview.Image.Dispose();
            //调用clr+opencv图像处理模块
            MemoryStream ms = new MemoryStream();
            b.Save(ms, System.Drawing.Imaging.ImageFormat.Jpeg);
            byte[] bytes = ms.GetBuffer();
            Bitmap bitmap = client.testMethod(bytes);
            //显示结果
            picPreview.Image = bitmap;
        }

这段代码比较关键
 // Release any previous buffer
            if (m_ip != IntPtr.Zero)
            {
                Marshal.FreeCoTaskMem(m_ip);
                m_ip = IntPtr.Zero;
            }
首先判断指针是否为空

  // capture image
            try
            {
                m_ip = cam.Click();
            }
            catch
            {
                //do nothing,允许丢帧 TODO:是否改成继承上一帧更好
            }
   Bitmap b = new Bitmap(cam.Width, cam.Height, cam.Stride, PixelFormat.Format24bppRgb, m_ip);
            // If the image is upsidedown
            b.RotateFlip(RotateFlipType.RotateNoneFlipY);
            srcImage = b;
而后通过调用Click()获得当前视频数据,并且将其转换为BitMap格式

   if (picPreview.Image != null)
                picPreview.Image.Dispose();
            //调用clr+opencv图像处理模块
            MemoryStream ms = new MemoryStream();
            b.Save(ms, System.Drawing.Imaging.ImageFormat.Jpeg);
            byte[] bytes = ms.GetBuffer();
            Bitmap bitmap = client.testMethod(bytes);
最为关键的调用 client.testMethod 方法来进行图像处理,并将结果直接转换为bitmap,最后这个结果显示在另外一个picturebox上面。

如果你去看这个testMethod,是一个非常典型的“三明治”结构:包括将<byte>结构转换为Mat,调用OpenCV函数对Mat进行处理,将Mat结果返回出来。
Bitmap^  GOClrClass::testMethod(cli::array<unsigned char>^ pCBuf1)
{
    ////////////////////////////////将输入cli::array<unsigned char>转换为cv::Mat/////////////////////////
    pin_ptr<System::Byte> p1 = &pCBuf1[0];
    unsigned char* pby1 = p1;
    cv::Mat img_data1(pCBuf1->Length,1,CV_8U,pby1);
    cv::Mat img_object = cv::imdecode(img_data1,IMREAD_UNCHANGED);
    if (!img_object.data)
        return nullptr;
    ////////////////////////////////////////////OpenCV的算法处理过程////////////////////////////////////
    cvtColor(img_object,img_object,COLOR_BGR2GRAY);
    cvtColor(img_object,img_object,COLOR_GRAY2BGR);
    Mat drawing = img_object.clone();
    
    /////////////////////////将cv::Mat转换为Bitmap(只能传输cv_8u3格式数据)///////////////////////////////
    if (!drawing.data)
        return nullptr;
    Bitmap^ bitmap = MatToBitmap(drawing);
    return bitmap;
}
而主要算法,只是一个灰度处理。(我首先将彩色图像转换为灰度,然后再将灰度转换为彩色,是为了保持3通道)

四、测试结果

为了显示结果,我添加了一个picResult的picturebox,则调用OpenCV的处理结果显示在右侧。
img_ee2f0b086b3319103c7467a07544e47d.jpe


img_9ecea1f1c949e6c16cbf2fc57e9044ef.jpe

到此为止,基于 GOCW,创建一个实时视频程序的基本流程已经明晰了,如果感兴趣,相关的原理请关注后续博客。
感谢阅读至此,
希望有所帮助。
P.S小技巧:在tab选择到预览窗口的时候,才打开timer,这样能够保证最好效率。

   private void tabControl_SelectedIndexChanged(object sender, EventArgs e)
        {
            if (tabControl.SelectedIndex == 1)//只有在预览的时候打开图像处理
                timer.Enabled = true;
            else
                timer.Enabled = false;
        }





目前方向:图像拼接融合、图像识别 联系方式:jsxyhelu@foxmail.com
目录
相关文章
|
4月前
|
传感器 API 开发工具
OpenCV视频读写模块(videoio)
OpenCV视频读写模块(videoio)
OpenCV视频读写模块(videoio)
|
6月前
|
算法 C++ 计算机视觉
OpenCV-图像像素遍历操作的三种方法对比(程序提速)
OpenCV-图像像素遍历操作的三种方法对比(程序提速)
|
6月前
|
存储 编译器 数据库
[笔记]OpenCV+FFmpeg+Qt实现视频编辑器之OpenCV核心类型 Mat
[笔记]OpenCV+FFmpeg+Qt实现视频编辑器之OpenCV核心类型 Mat
|
2月前
|
机器学习/深度学习 算法 数据可视化
计算机视觉+深度学习+机器学习+opencv+目标检测跟踪+一站式学习(代码+视频+PPT)-2
计算机视觉+深度学习+机器学习+opencv+目标检测跟踪+一站式学习(代码+视频+PPT)
96 0
|
4月前
|
计算机视觉 Python
OpenCV获取视频文件的属性并动态显示实战(附Python源码)
OpenCV获取视频文件的属性并动态显示实战(附Python源码)
47 0
|
2月前
|
机器学习/深度学习 Ubuntu Linux
计算机视觉+深度学习+机器学习+opencv+目标检测跟踪+一站式学习(代码+视频+PPT)-1
计算机视觉+深度学习+机器学习+opencv+目标检测跟踪+一站式学习(代码+视频+PPT)
55 1
|
3月前
|
存储 监控 开发工具
Baumer工业相机堡盟工业相机如何联合NEOAPI SDK和OpenCV实现相机图像转换为AVI视频格式(C++)
Baumer工业相机堡盟工业相机如何联合NEOAPI SDK和OpenCV实现相机图像转换为AVI视频格式(C++)
35 0
|
3月前
|
计算机视觉 Python 索引
【Python Opencv】图片与视频的操作
【Python Opencv】图片与视频的操作
【Python Opencv】图片与视频的操作
|
4月前
|
缓存 算法 计算机视觉
OpenCV图像处理-视频分割静态背景-MOG/MOG2/GMG
1.概念介绍 视频背景扣除原理:视频是一组连续的帧(一幅幅图组成),帧与帧之间关系密切(GOP/group of picture),在GOP中,背景几乎是不变的,变的永远是前景。
84 0
|
6月前
|
计算机视觉
[笔记]OpenCV+FFmpeg+Qt实现视频编辑器之OpenCV视频lO接口
[笔记]OpenCV+FFmpeg+Qt实现视频编辑器之OpenCV视频lO接口