理工酷

研究目的

主要研究内容是基于多目相机，利用图像拼接技术实现大尺寸图像的合成，然后在此基础上，利用多幅图像之间的空间关联，计算单应矩阵，通过图像融合的手段实现大尺寸视频的合成。

1. 熟悉OpenCV基本函数的使用；
2. 搭建Qt+OpenCV开发环境；
3. 熟悉软件编写流程；
4. 掌握多目相机的视频拼接的核心步骤和相关算法
5. 设计并实现图像拼接和视频拼接算法的演示软件；
6. 测试多个摄像头多组视频拼接结果

研究方法

软件方面

采用C+++Qt5.5.1+OpenCV2.4.9

硬件方面

摄像头：采用淘宝上最便宜的小钢炮摄像头，单个价格25元左右 摄像头固定装置：计算摄像头的视场，使用Autodesk 3ds Max设计固定装置，并使用3D打印技术打印

设计思路

图像拼接是视频拼接的核心技术，目前图像拼接技术大体可以分为三个步骤：图像的预处理、图像配准、和图像融合。而图像拼接研究的难点就是图像配准和图像融合。详细步骤如下图： 因为我们设计的相机阵列中的所有的相机设备之间的相对位置是固定不变的，因此任意两幅有重叠区域的图像之间计算得出的透视变换矩阵也是一样的，至少是非常接近的。为了保证视频拼接的实时性和准确性，与一般的视频拼接的方法相比较，我们最终采取的视频拼接的方法如下四步：

1. 我们只需要从四个视频图像中捕获比较合适的图像，保存下来。
2. 根据第一步的图像进行配准操作，
3. 计算出四个摄像头图像之间的单应性矩阵，并且并存储在一个Mat 里面。
4. 在剩下的那些需要实时拼接的视频帧，就可以直接调用存储在Mat 中的单应性矩阵，从而完成配准过程。

这样剩下的那些需要实时拼接的视频帧在拼接的时候就可以省去每次的特征提取配准的时间。只需利用透视变换矩阵进行图像变换拼接和图像融合两个步骤。 整个视频拼接的步骤如下：

研究结论

1. 总结并归纳了图像拼接技术的国内外研究现状，总结并归纳了视频拼接技术的国内外研究现状。为了保证视频拼接的实时性和准确性，最终确定了采用 SURF 算法来作为视频的特征提取的主要算法，并且实现了整个拼接流程。
2. 本文采用 OpenCV 开发平台来完成对实时视频流帧的分离拼接工作。对 OpenCV 视觉开 发平台进行了研究，并结合 Qt5.5 搭建了软件开发平台。
3. 本文完成了非常快速的视频拼接，实现了视频拼接的实时显示

目录

第一章 绪论 1 ┊ 1.1 研究的背景和意义 1 ┊ 1.2 国内外的研究现状 1 ┊ 1.3 开发工具的介绍 2 ┊ 1.4 章节安排 3 ┊第二章 Stanford 大学的多相机阵列介绍
┊ 2.1 早期的多相机阵列 5 ┊ 2.2 硬件组件 6 ┊ 2.3 系统结构 8 ┊ 2.4 最终多目相机阵列结构 8 ┊第三章 基于多相机的视频拼接的理论 1 ┊ 3.1 图像的变换模型 13 ┊ 3.1.1 仿射变换 13 ┊ 3.1.2 投影变换 13 ┊ 3.2 计算图像透视矩阵 14 第四章 图像拼接技术 15 ┊ 4.1 图像预处理 15 ┊ 4.2 图像配准 16 ┊ 4.3 图像融合 16 第五章 基于特征点的图像配准技术 17 ┊ 5.1 基于特征的配准算法概述 17 ┊ 5.2 SURF 特征提取 18 ┊ 5.3 FLANN 特征匹配 22 第六章 图像融合技术 23 ┊ 6.1 直接平均法 23 ┊ 6.2 加权平均法 23 第七章 多目视频实时拼接技术 27 ┊ 7.1 多目视频实时拼接的理论支持 27 ┊ 7.2 多目视频实时拼接的步骤 27 ┊ 7.2.1 视频采集 28 ┊ 7.2.2 摄像头选取 28 ┊ 7.2.3 确定摄像头相对位置 28 ┊ 7.3 多目视频实时拼接总结 28 ┊ 7.4 软件设计结果 29 转载自： https://github.com/suncle1993/VideoStitching/blob/master/paper/%E3%80%9002%E6%AF%95%E4%B8%9A%E8%AE%BA%E6%96%87%E3%80%91%20%E9%99%88%E4%BA%AE_%E5%A4%9A%E7%9B%AE%E7%9B%B8%E6%9C%BA%E7%9A%84%E8%A7%86%E9%A2%91%E6%8B%BC%E6%8E%A5.pdf