视觉是人类认知世界的重要途径之一，人类获取外部信息的80%来自视觉系统。计算视觉就是在了解人类视觉基础上，用成像系统代替人类视觉器官，用计算级代替人脑完成对输入图像的处理与理解。同时，随着信息技术与智能科学的发展，计算机视觉是人工智能领域热门学科之一和物联网感知层重要技术之一。
视觉跟踪技术作为计算机视觉领域的热门课题之一，是对连续的图像序列进行运动目标检测、提取特征、分类识别、跟踪滤波、行为识别，以获得目标准确的运动信息参数（如位置、速度等），并对其进行相应的处理分析，实现对目标的行为理解。
视觉跟踪是指对图像序列中的运动目标进行检测、提取、识别和跟踪，获得运动目标的运动参数，如位置、速度、加速度和运动轨迹等，从而进行下一步的处理与分析，实现对运动目标的行为理解，以完成更高一级的检测任务。
国外在视频目标检测与跟踪领域的研究起步较早，美国军方及美国自然科学基金委员会都非常关注复杂环境下目标的检测、跟踪与识别算法研究与应用。1991年，美国国防高级研究项目署DARPA就资助卡内梅隆大学进行视觉信息在无人机中的应用研究。1997年，DARPA再次邀请多所美国高校参与了视频监控系统重大项目VSAM(videosurveillance and monitoring)的研发工作。美国国防部DAPRA和JSG&CC联合发起成立了自动识别工作组ATRWG。之后，国外知名大学与研究机构也对视频目标的检测与跟踪算法进行深入研究，J.Davis等人提出了一种适用于人体检测的背景相减算法，它首先采用传统帧相减算法得到感兴趣区域，之后通过梯度信息在感兴趣区域中寻找目标轮廓，通过目标轮廓确定目标位置，S.Huwer等人深入研究了背景模型问题，提出了一种自适应的背景模型，该模型可以很好的解决光照变化等问题。
1999年后，国内一些高校和科研机构也开始视频目标检测与跟踪方面的研究。中科院自动化所的模式识别国家重点实验室图像和视频分析研究组研发的交通行为事件分析系统；2001年，清华大学开发的适用于野外环境的视觉侦查系统。
视觉跟踪发展已经比较成熟，出现了许多方法。开始时，视觉跟踪研究主要集中在目标运动模型研究，如kalman预测跟踪，meanshift跟踪，粒子滤波跟踪等。视觉跟踪更多集中在目标表现模型研究上，Tracking by detection 成为视觉跟踪比较多的话题，如Ensemble Tracking、Support vectortracking、Incremental Leaningfor visual tracking及TLD等。
