公开(公告)号：US08457358B2

公开(公告)日：2013-06-04

申请号：US13398171

申请日：2012-02-16

申请人： Yuxiao Hu ,  Hong-Jiang Zhang ,  Mingjing Li ,  Lei Zhang

发明人： Yuxiao Hu ,  Hong-Jiang Zhang ,  Mingjing Li ,  Lei Zhang

IPC分类号： G06K9/00

CPC分类号： G06F3/012 ,  G06K9/00268 ,  G06K9/6211 ,  G06T7/73 ,  G06T2207/30201

摘要： Improvements are provided to effectively assess a user's face and head pose such that a computer or like device can track the user's attention towards a display device(s). Then the region of the display or graphical user interface that the user is turned towards can be automatically selected without requiring the user to provide further inputs. A frontal face detector is applied to detect the user's frontal face and then key facial points such as left/right eye center, left/right mouth corner, nose tip, etc., are detected by component detectors. The system then tracks the user's head by an image tracker and determines yaw, tilt and roll angle and other pose information of the user's head through a coarse to fine process according to key facial points and/or confidence outputs by pose estimator.

摘要翻译： 提供了改进以有效地评估用户的脸部和头部姿势，使得计算机或类似装置可以跟踪用户对显示装置的注意。 然后可以自动选择用户转向的显示或图形用户界面的区域，而不需要用户提供进一步的输入。 应用前置面部检测器来检测使用者的正面，然后通过部件检测器检测左右眼中心，左/右口角，鼻尖等的关键面部点。 然后，系统通过图像跟踪器跟踪用户的头部，并且通过姿态估计器根据关键面部点和/或置信输出，通过粗略到精细处理确定用户头部的偏航，倾斜和滚动角度和其他姿态信息。

公开(公告)号：US20120139832A1

公开(公告)日：2012-06-07

申请号：US13398171

申请日：2012-02-16

申请人： Yuxiao HU ,  Lei Zhang ,  Mingjing Li ,  Hong-Jiang Zhang

发明人： Yuxiao HU ,  Lei Zhang ,  Mingjing Li ,  Hong-Jiang Zhang

IPC分类号： G06F3/01

CPC分类号： G06F3/012 ,  G06K9/00268 ,  G06K9/6211 ,  G06T7/73 ,  G06T2207/30201

摘要： Improvements are provided to effectively assess a user's face and head pose such that a computer or like device can track the user's attention towards a display device(s). Then the region of the display or graphical user interface that the user is turned towards can be automatically selected without requiring the user to provide further inputs. A frontal face detector is applied to detect the user's frontal face and then key facial points such as left/right eye center, left/right mouth corner, nose tip, etc., are detected by component detectors. The system then tracks the user's head by an image tracker and determines yaw, tilt and roll angle and other pose information of the user's head through a coarse to fine process according to key facial points and/or confidence outputs by pose estimator.

摘要翻译： 提供了改进以有效地评估用户的脸部和头部姿势，使得计算机或类似装置可以跟踪用户对显示装置的注意。 然后可以自动选择用户转向的显示或图形用户界面的区域，而不需要用户提供进一步的输入。 应用前置面部检测器来检测使用者的正面，然后通过部件检测器检测左右眼中心，左/右口角，鼻尖等的关键面部点。 然后，系统通过图像跟踪器跟踪用户的头部，并且通过姿态估计器根据关键面部点和/或置信输出，通过粗略到精细处理确定用户头部的偏航，倾斜和滚动角度和其他姿态信息。

公开(公告)号：US08175847B2

公开(公告)日：2012-05-08

申请号：US12415722

申请日：2009-03-31

申请人： Hong-Jiang Zhang ,  Dong Liu ,  Meng Wang ,  Linjun Yang ,  Xian-Sheng Hua

发明人： Hong-Jiang Zhang ,  Dong Liu ,  Meng Wang ,  Linjun Yang ,  Xian-Sheng Hua

IPC分类号： G06F17/18

CPC分类号： G06F17/30038

摘要： Technologies for generating a boosted tag ranking for a media instance, the boosted tag ranking based on probabilistic relevance estimation computed by a probabilistic relevance estimator and tag correlation refining performed by a tag correlation refiner. Such boosted tag rankings may be used for search result ranking, tag recommendation, and group recommendation.

摘要翻译： 用于生成用于媒体实例的提升的标签排名的技术，基于由概率相关性估计器计算的概率相关性估计的增强的标签排名以及由标签相关性精炼器执行的标签相关性精炼。 这种提升的标签排名可以用于搜索结果排名，标签推荐和组推荐。

公开(公告)号：US08144769B2

公开(公告)日：2012-03-27

申请号：US12356031

申请日：2009-01-19

申请人： Tianming Liu ,  Hong-Jiang Zhang ,  Wei Qi

发明人： Tianming Liu ,  Hong-Jiang Zhang ,  Wei Qi

IPC分类号： H04N7/12 ,  H04N11/02 ,  H04N11/04 ,  H04B1/66

CPC分类号： H04L65/80 ,  H04L29/06027 ,  H04L65/602 ,  H04L65/607 ,  H04N19/132 ,  H04N19/137 ,  H04N19/152 ,  H04N19/159 ,  H04N19/172 ,  H04N19/34 ,  H04N19/587 ,  H04N19/61 ,  H04N19/87 ,  H04N21/234327 ,  H04N21/2401 ,  H04N21/2402 ,  H04N21/2662 ,  H04N21/6373

摘要： Various embodiments provide methods and systems for streaming data that can facilitate streaming during bandwidth fluctuations in a manner that can enhance the user experience. In one aspect, a forward-shifting technique is utilized to buffer data that is to be streamed, e.g. an enhancement layer in a FGS stream. Various techniques can drop layers actively when bandwidth is constant. The saved bandwidth can then be used to pre-stream enhancement layer portions. In another aspect, a content-aware decision can be made as to how to drop enhancement layers when bandwidth decreases. During periods of decreasing bandwidth, if a video segment does not contain important content, the enhancement layers will be dropped to keep the forward-shifting of the enhancement layer unchanged. If the enhancement layer does contain important content, it will be transmitted later when bandwidth increases.

摘要翻译： 各种实施例提供用于流式传输数据的方法和系统，其可以以可以增强用户体验的方式促进带宽波动期间的流传输。 在一个方面，使用前向移位技术来缓冲要流式传输的数据。 FGS流中的增强层。 当带宽恒定时，各种技术可以主动降层。 然后可以使用保存的带宽来预先加密增强层部分。 在另一方面，可以做出关于当带宽减小时如何降低增强层的内容感知决定。 在带宽减小期间，如果视频段不包含重要内容，则增强层将被丢弃，以保持增强层的前向移动不变。 如果增强层确实包含重要内容，则当带宽增加时，将会传输。

公开(公告)号：US08098730B2

公开(公告)日：2012-01-17

申请号：US11278487

申请日：2006-04-03

申请人： Yu-Fei Ma ,  Hong-Jiang Zhang

发明人： Yu-Fei Ma ,  Hong-Jiang Zhang

IPC分类号： H04N7/12 ,  H04N11/02 ,  H04N11/04 ,  H04B1/66

CPC分类号： G06K9/4671 ,  G06K9/00711 ,  G06T7/215

摘要： Systems and methods to generate a motion attention model of a video data sequence are described. In one aspect, a motion saliency map B is generated to precisely indicate motion attention areas for each frame in the video data sequence. The motion saliency maps are each based on intensity I, spatial coherence Cs, and temporal coherence Ct values. These values are extracted from each block or pixel in motion fields that are extracted from the video data sequence. Brightness values of detected motion attention areas in each frame are accumulated to generate, with respect to time, the motion attention model.

摘要翻译： 描述了生成视频数据序列的运动注意模型的系统和方法。 在一个方面，生成运动显着图B以精确地指示视频数据序列中的每个帧的运动注意区域。 运动显着图分别基于强度I，空间相干Cs和时间相干Ct值。 从从视频数据序列提取的运动场中的每个块或像素中提取这些值。 每个帧中检测到的运动关注区域的亮度值被累积，以相对于时间产生运动注意力模型。

公开(公告)号：US08086549B2

公开(公告)日：2011-12-27

申请号：US11958050

申请日：2007-12-17

申请人： Guo-Jun Qi ,  Xian-Sheng Hua ,  Yong Rui ,  Hong-Jiang Zhang ,  Shipeng Li

发明人： Guo-Jun Qi ,  Xian-Sheng Hua ,  Yong Rui ,  Hong-Jiang Zhang ,  Shipeng Li

IPC分类号： G06F15/18

CPC分类号： G06N99/005

摘要： Multi-label active learning may entail training a classifier with a set of training samples having multiple labels per sample. In an example embodiment, a method includes accepting a set of training samples, with the set of training samples having multiple respective samples that are each respectively associated with multiple labels. The set of training samples is analyzed to select a sample-label pair responsive to at least one error parameter. The selected sample-label pair is then submitted to an oracle for labeling.

摘要翻译： 多标签主动学习可能需要对分类器训练一组具有每个样本的多个标签的训练样本。 在示例实施例中，一种方法包括接受一组训练样本，其中该组训练样本具有多个相应样本，每个样本分别与多个标签相关联。 分析该组训练样本以响应于至少一个误差参数来选择样本标签对。 然后将选定的样品标签对提交给oracle进行标记。

公开(公告)号：US07986372B2

公开(公告)日：2011-07-26

申请号：US10910803

申请日：2004-08-02

申请人： Yu-Fei Ma ,  Bin Lin ,  Zhike Kong ,  Xinli Zou ,  Wei-Ying Ma ,  Hong-Jiang Zhang

发明人： Yu-Fei Ma ,  Bin Lin ,  Zhike Kong ,  Xinli Zou ,  Wei-Ying Ma ,  Hong-Jiang Zhang

IPC分类号： H04N5/14 ,  H04N9/64

CPC分类号： G11B27/28 ,  G06F17/30793 ,  G06F17/30802 ,  G06F17/30849 ,  G06K9/00711 ,  G11B27/10

摘要： Systems and methods for smart media content thumbnail extraction are described. In one aspect program metadata is generated from recorded video content. The program metadata includes one or more key-frames from one or more corresponding shots. An objectively representative key-frame is identified from among the key-frames as a function of shot duration and frequency of appearance of key-frame content across multiple shots. The objectively representative key-frame is an image frame representative of the recorded video content. A thumbnail is created from the objectively representative key-frame.

摘要翻译： 描述了用于智能媒体内容缩略图提取的系统和方法。 在一个方面，节目元数据是从记录的视频内容生成的。 程序元数据包括来自一个或多个相应镜头的一个或多个关键帧。 从关键帧中识别出客观上代表性的关键帧作为多个镜头中的关键帧内容的拍摄持续时间和出现频率的函数。 客观代表的关键帧是表示记录的视频内容的图像帧。 从客观代表的关键帧创建缩略图。

公开(公告)号：US20100074537A1

公开(公告)日：2010-03-25

申请号：US12237298

申请日：2008-09-24

申请人： Xian-Sheng Hua ,  Guo-Jun Qi ,  Yong Rui ,  Hong-Jiang Zhang

发明人： Xian-Sheng Hua ,  Guo-Jun Qi ,  Yong Rui ,  Hong-Jiang Zhang

IPC分类号： G06K9/62

CPC分类号： G06K9/469 ,  G06K9/6297

摘要： Kernelized spatial-contextual image classification is disclosed. One embodiment comprises generating a first spatial-contextual model to represent a first image, the first spatial-contextual model having a plurality of interconnected nodes arranged in a first pattern of connections with each node connected to at least one other node, generating a second spatial-contextual model to represent a second image using the first pattern of connections, and estimating the distance between corresponding nodes in the first spatial-contextual model and the second spatial-contextual model based on a relationship with adjacent connected nodes to determine a distance between the first image and the second image.

摘要翻译： 公开了内核空间上下文图像分类。 一个实施例包括生成第一空间上下文模型以表示第一图像，第一空间上下文模型具有以与连接到至少一个其他节点的每个节点连接的第一连接方式布置的多个互连节点，产生第二空间 - 使用所述第一连接模式来表示第二图像，以及基于与相邻连接节点的关系来估计所述第一空间 - 上下文模型中的对应节点与所述第二空间 - 上下文模型之间的距离，以确定所述第二图像之间的距离 第一个图像和第二个图像。

公开(公告)号：US07636768B2

公开(公告)日：2009-12-22

申请号：US11025255

申请日：2004-12-29

申请人： Yudong Yang ,  Hong-Jiang Zhang

发明人： Yudong Yang ,  Hong-Jiang Zhang

IPC分类号： G06F15/16 ,  G06F17/00

CPC分类号： H04L65/4084 ,  H04L29/06 ,  H04L29/06027 ,  H04L65/80 ,  H04L67/2823 ,  H04L67/2828 ,  H04L69/329

摘要： Methods and systems for generic adaptive multimedia content delivery are described. In one embodiment, a novel framework features an abstract content model and an abstract adaptive delivery decision engine. The abstract content model recognizes important aspects of contents while hiding their physical details from other parts of the framework. The decision engine then makes content adaptation plans based on the abstracted model of the contents and needs little knowledge of any physical details of the actual contents. Thus, under the same framework, adaptive delivery of generic contents is possible.

摘要翻译： 描述了通用自适应多媒体内容传送的方法和系统。 在一个实施例中，新颖的框架具有抽象内容模型和抽象自适应递送决策引擎。 抽象内容模型识别内容的重要方面，同时将其物理细节从框架的其他部分隐藏起来。 然后，决策引擎基于内容的抽象模型进行内容适配计划，并且对实际内容的任何物理细节的了解不大。 因此，在相同的框架下，通用内容的自适应传递是可能的。

公开(公告)号：US20090122878A1

公开(公告)日：2009-05-14

申请号：US12356031

申请日：2009-01-19

申请人： Tianming Liu ,  Hong-Jiang Zhang ,  Wei Qi

发明人： Tianming Liu ,  Hong-Jiang Zhang ,  Wei Qi

IPC分类号： H04N7/26

CPC分类号： H04L65/80 ,  H04L29/06027 ,  H04L65/602 ,  H04L65/607 ,  H04N19/132 ,  H04N19/137 ,  H04N19/152 ,  H04N19/159 ,  H04N19/172 ,  H04N19/34 ,  H04N19/587 ,  H04N19/61 ,  H04N19/87 ,  H04N21/234327 ,  H04N21/2401 ,  H04N21/2402 ,  H04N21/2662 ,  H04N21/6373

摘要： Various embodiments provide methods and systems for streaming data that can facilitate streaming during bandwidth fluctuations in a manner that can enhance the user experience. In one aspect, a forward-shifting technique is utilized to buffer data that is to be streamed, e.g. an enhancement layer in a FGS stream. Various techniques can drop layers actively when bandwidth is constant. The saved bandwidth can then be used to pre-stream enhancement layer portions. In another aspect, a content-aware decision can be made as to how to drop enhancement layers when bandwidth decreases. During periods of decreasing bandwidth, if a video segment does not contain important content, the enhancement layers will be dropped to keep the forward-shifting of the enhancement layer unchanged. If the enhancement layer does contain important content, it will be transmitted later when bandwidth increases.

摘要翻译： 各种实施例提供用于流式传输数据的方法和系统，其可以以可以增强用户体验的方式促进带宽波动期间的流传输。 在一个方面，使用前向移位技术来缓冲要流式传输的数据。 FGS流中的增强层。 当带宽恒定时，各种技术可以主动降层。 然后可以使用保存的带宽来预先加密增强层部分。 在另一方面，可以做出关于当带宽减小时如何降低增强层的内容感知决定。 在带宽减小期间，如果视频段不包含重要内容，则增强层将被丢弃，以保持增强层的前向移动不变。 如果增强层确实包含重要内容，则当带宽增加时，将会传输。