运动估计与分割.ppt

NLPR 图象视频数据理解与检索 图象视频数据理解与检索卢 汉 清 内容 镜头分割 镜头表示 运动目标的半自动分割 背景图象的拼接 运动分析 视频浏览与检索 视频镜头检测 镜头是摄像机在一次连续操作期间拍摄所得的视频帧序列; 一个镜头内所有图象描述的应当是比较一致的内容，可以把镜头作为基本索引单元 渐变镜头的一些实例 镜头检测的基本原理 基本假定: 一个镜头内的相邻帧间有较强的连续性和相似性，内容不会有大的变化 选择合适的帧间差别测度和合适的阈值，当相邻帧图象间的差别大于阈值时，就认为出现了镜头切换 对帧间差别测度的要求： 对镜头切换敏感 对镜头内图象的变化不敏感 镜头检测的主要方法 基于像素差的方法； 基于统计量的方法； 基于图象特征的方法； 基于灰度或彩色直方图的方法； 区域块法； 时空流法； 压缩域中的方法； …… 颜色直方图的缺点 颜色直方图对光照变化非常敏感，简单的光强变化就会引起直方图的突变 光照变化的例子 一种光照不变测度：颜色比值直方图 相邻象素颜色的比值在光照变化时是不变的 颜色比值直方图的差可以作为帧间差别测度 视频镜头的表示 关键帧(Key frame)表示； As Y.T.Zhang, etc. in Proc. ICIP 1998 As P.O.Gresles, T.S.Huang, in ICVIS 1997 基于图象拼接(Mosaic)的表示 M.Irani, P.Anandan and S.Hsu. In ICCV 95 Highlight表示 M.A.Smith, T.Kanade, in CVPR 97 拼接图的例子 摄像机运动模型 简单平移模型(两参数) 平面模型(四参数) 仿射模型(六参数) 简化透视投影模型(八参数) 模型参数估计 基于特征对应的方法 无特征对应的直接法 结果演示1 高对比度边缘（Higher contrast edges）是指具有更多连接边缘的点集 膨胀高对比度边缘到给定的宽度 运动分析 运动物体分割 运动物体的识别与跟踪 行为动作理解 运动目标分割 时域差分法 优点：方法简单快速 缺点：摄像机运动时需要在分割前完成运动补偿 运动估计与分割 外在方法 隐式方法 光流场估计 基于点亮度不变性 基于特征不变 基于区域相似性 运动目标的识别与跟踪 识别 目标获取、定位、识别…… 跟踪 运动参数估计、预测，运动路径描述…… 行为动作理解 哑语 虚拟鼠标、虚拟环境…… 行为动作的意义描述 …… 基于多尺度数学形态学的视频目标分割 卢汉清 李毅 廖明 应用背景和目标 面向基于内容的视频数据编码与索引：MPEG-4和MPEG-7。 视频目标提取：根据一定的准则，把视频图象分割成不同的区域并标识出有语义意义的目标。 主要难点 1、对区域的语义描述。 2、摄像机（全局）运动补偿。 3、多运动估计和分割。 我们的策略 1、区域的语义描述 初始帧的交互式标定加后续帧的自动目标跟踪。 2、摄像机（全局）运动补偿 与视频目标提取相结合，利用语义信息。 基于多尺度梯度水线的特征匹配方法。 3、多运动估计和分割。 采用了自上而下的空域分裂策略，根据不同的运动复杂度使用不同尺度的空域分割，组成一个区域金字塔，从而提出了一个新的时空域多运动估计和分割方法。 形态学空域分割的目的 给出按某些准则划分出一致性区域，再应用基于区域的编码方法以提高编码效率。 为视频目标分割提供一个很好的划分基础和空间拓扑约束。 水线分割的过分问题 解决方法 利用重建算子修改梯度图象 程序界面 分割实验2 方法三 基于边缘的拼接 Watershed based segmentation Higher contrast edges detection 2D motion estimation First image second image Planar motion 算法 基于水线的分割 高对比度边缘检测 鲁棒的平面运动估计 Mosaic图像生成 高对比度边缘检测 Mosaic Representation Key Frame Representation 该方法的结果之一 方法四 时空法 实验一： 方法四 时空法 实验一：从切片获得的特征曲线 用图象金字塔获取初值，最终的结果 用切片获取初值，最终的结果 方法四 时空法 实验一：结果比较 第20帧 第80帧 第100帧 第140帧 方法四 时空法 实验二：存在运动物体的视频段 方法四 时空法 实验二：用我们的方法所得到的结果 基于数学形态学的层次化图象分割 多尺度重建滤波器：在不同尺度下简化图象以利于分割。 水线算法给出区域划分。 多尺度重建滤波器下的梯度水线 具有良好结构对应性的层次