从模拟信号过渡到数字信号为视频监控技术带来了期待已久的技术飞跃，数字压缩技术可以传输和存储更多的图像，但是新的技术带来了新的问题：成本问题。数字视频中可以更多的摄像机，这就需要配备更多的人员来进行监控。视频存储可以降低数据的搜索难度，因为矢量运动探测机制可以通过比较而存储下来，没有显著活动的视频帧将不进行存储。然而，由于矢量运动探测只能提供视频资料，它自身并不能判断到底发生了什么事情，因此必须得有人来进行操作，分析视频内容，来确定哪些活动可疑，具有危险性。
因此，如果提高视频监控的有效性是迫切需要解决的一个问题，视频分析算法制订了一系列算法，允许系统在监控到特定事件发生时发出警报，加快了实时安全响应的速度。这样通过视频分析来自动搜索捕获监控视频的具体内容，把监控员从繁琐的成年累月的信息检索审查中解放了出来，大大减少了监视器前所需的监控人员数量。
将来视频分析将不断开发并且实现广泛的应用。视频分析需要从大量的视频信息流中确定其分析的对象内容，而且视频分析系统必须支持编程以满足不同环境条件的不同应用，对于不同监控内容其算法可以不断地进行适应性的变化，目前新的视频处理器已经可以提供非常高性能水平和高灵活性的编程压缩技术，而且现在的软件平台工具可以很大程度上简化安全监控产品的开发过程，随着视频分析技术的发展，软件平台中也很容易和其结合起来实现整体应用。
视频分析过程
目前没有任何关于视频分析过程的国际通用标准，下面是一个一般的过程：
1 把较长的镜头分割成较短的场景用于分析，不同的场景对应不同的直方图，或者颜色频率分布情况，一般来说，两帧之间直方图的变化可以被视为一个场景的变化。
2 把前景中不断变化的运动物体和静态北京分离。
3 把前景个体进行提取或者分割，然后从帧到帧进行跟踪监测，主要检测的指标是物体的位置和速度。
4 如果需要进行识别某个个体的识别，将把该个体进行提取分析。
5 如果分析结果标明是一个触发事件，将向管理软件或者工作人员发出警报。
前景/背景探测
视频分析是建立在把活动的前景物体和静态的背景加以区别的基础上的。在过去前景和背景的检测算法是非常有限的，现在高性能的信号处理器和视频处理器可以执行更加复杂的检测算法了。
普遍来说有两种前景/背景的检测算法：非自适应算法，即只有少数使用的视频帧的情况，不需要保留背景模型;另外一种方法是自适应算法，其保留北京模型的算法随着时间推移正在迅速发展。在自适应算法中，上述视频分析过程步骤2-4中产生的反馈结果将被用于更新背景模型的信息，然后作为步骤1的输入信号输入。
非自适应检测
在最简单的非自适应方案中，从之前帧的各像素值中减去当前帧对应像素的数值，目的是确定绝对差值。然后将该像素绝对值与预定的门限进行比较，该门限来自图像生成器，代表对现场中的噪声进行补偿后的0电平。如果该绝对值超过了门限，则相应的像素属于前景。反之，则属于背景。如果多个前景像素连成整体则显示两个前后帧中的前景发生了改变。
利用三个图像帧，实现控制环境中的短期视频目标的跟踪和识别是可能的。即便如此，非自适应的解决方案也仅仅适用于高度监管的、场景中没有大变化的短期跟踪应用。当场景或背景变化时，需要用手动的方式重新初始化。否则，错误将随时间累积，导致不可信的结果。
自适应检测
由于非自适应解决方案的限制，在VCA应用中，目前正在实现自适应的前景/背景检测。自适应检测维持背景模型，通过对每两个视频帧中的数据进行混合使得该模型连续更新。自适应方案需要的处理量比非自适应方案要多，背景模型中的复杂度也变高。在基本的自适应方案中，算法从当前视频帧中按逐个像素减去背景模型，以便确定前景(这与非自适应算法中的减去后续帧的做法相反)。得到的结果被反馈到模型中，使之自适应即将发生的背景变化，而无需复位。该方案在目标在不断运动或者背景噪声长时间存在的许多视频监控场景中都很有效。
更复杂的前景/背景检测基于统计背景模型，在该模型中，指定帧中的每一个背景像素被建模成一个遵从高斯分布的随机变量。每个像素的均值和标准方差随时间变化，具体取决于每帧中的视频数据。例如，如果在场景中包括河岸和一条河，落到水面上的光线将会使河面像素产生比相对没有什么变化的河岸像素大得多的方差。通过与从背景模型中的相关像素的标准方差导出的门限比较来确定当前帧中的像素是前景还是背景。换句话说，若要指定某个像素为前景，如果随后有大的变化(河流)，则该像素应该呈现一个与背景像素很大的差别，而如果背景像素的变化很小(河岸)，则该差别会很小。
当场景中的不同区域的光条件或噪声电平不同时，该解决方案最有效，因为如果设置一个仅考虑高噪声电平的统一门限，当目标进入到低噪声区域(河岸)时就会消失。
目标跟踪/识别
在前景/背景检测之后，生成一个掩膜图(图1C)。由于存在环境噪声，单个目标的所有部分将不会关联在一起，故在将所有部分关联成整体之前，需要进行形态的扩展计算增强过程。扩展包括在掩膜图上加一个网格，计算网格中每个区域中的前景像素数量，然后计算每个区域中像素的剩余部分，该区域中的数量显示哪些分离的目标应该被关联到一起。
在扩展和分量关联后，为每个目标提供一个包围框，这是一个包括整个目标(因为它将出现在不同的帧中)的小矩形方块，从而产生了图2所示的分割。
跟踪
跟踪分割后的前景目标包括三步：即预测在当前帧中每个目标应该位于的地方，确定哪一个目标与描述最匹配并矫正目标运动轨迹，以用于下一帧的预测。第一步和第三步由递归式卡尔曼滤波器来实现。因为在一个帧中只能观察目标的位置，还需要利用矩阵运算来快速计算其速度和下一个位置。开始时，滤波器被初始化到相对于背景模型的前景目标的位置上。对于目标被跟踪的每一帧，滤波器预测下一帧中前景目标的相对位置。当场景进入到下一帧时，该滤波器定位目标并矫正其轨迹。
跟踪中的第二步包括数据相关，根据目标特征的相似性来确定目标的相关性。目标的大小，形状和位置可以根据从一帧到下一帧中的包围框和他们的交叠来确定 。速度由卡尔曼滤波器来预测，利用直方图以不同颜色来关联不同的物体。不过，这些特征中的某个或者全部都会改变。
例如，考虑一辆驾驶室为红色的白色卡车靠近街道旁边的摄像机，进入车道后，突然掉头向相反方向开去。一系列场景中，该目标的所有特征都发生了改变，包括大小，形状，速度和颜色。软件必须能够快速调整来适应这些突变，以便精确地识别出该车辆。另外，在跟踪多个目标时，软件必须能区分出它们之间彼此不同的特征。
分类
跟踪的复杂度导致了目标分类方面的问题。例如，相对于人来说，系统发现某物体穿越摄像机前的警戒线时要容易得多。目标的大小和速度可以为大致分类提供参考，但对于精细分类还需要提供更多的信息。一个大目标具有更多的像素信息，但这对快速分类又太多了。这种情况下，为了实时响应，需要采用一种尺寸减小技术，即使在后续的调查中将利用存储的各帧中的所有像素信息。
有效的VCA实现还必须克服目标分类以外的大量挑战。其中包括由于黄昏、水面、云、风中的树木摆动、雨、雪以及大雾所引起的各种变化;跟踪穿越的目标的轨迹，会引起每个前景像素的暂时合并，随后又分离;还有在包括多个摄像机系统中逐幅地跟踪目标等。如何解决这些问题都还是VCA发展过程中的挑战。
视频分析系统设计
实现VCA和视频编码需要一个高性能的处理器和不同的部署。新解析技术的出现要求编程灵活性，这可以利用集成最高性能的处理器来解决，其中包括可编程 DSP和RISC微处理器内核以及视频硬件协处理器。合适的处理器还需要集成高性能的通信外设和视频信号链路来减少系统元器件和成本，例如德州仪器的基于 DaVinci技术的TMS320DM644x处理器。
两个DaVinci处理器可以提供处理高端VCA以及对每秒30帧(720p30 HD)，分辨率为720x1080的高清视频(HD)源进行编码的性能。
进行略微改进，设计可以更改成一个卡和一个处理器的形式。能够提供与两个处理器相同的功能，不过只能处理中级的VCA和HD编码。
采用这种将VCA集成到摄像机中的方案，可以提供鲁棒的高效率网络实现。VCA软件也可以集成到用作为多个摄像机的中央单元的PC中。除了VCA自身的步骤外，在前景/背景检测和其他解析步骤之前，还需要处理去交织的一些预处理步骤。为了识别目标或其他目的，应用软件还会增加一些进一步处理。上述的单处理器和双处理器设计方案都能为这些额外的软件功能提供预留空间。
将前景目标从背景中分离出来的自适应方法，随后的跟踪目标，如果需要，对可疑的活动进行分类等构成了VCA的全部，这需要一个高级的实时处理运算和自适应能力。基于DSP的视频处理器提供了VCA和视频编码所需的性能，加上能够适应应用需求和技术中的可编程灵活性，将视频安全监控提升到了一个新层次。
