-
公开(公告)号:CN104239249B
公开(公告)日:2017-08-04
申请号:CN201410472223.8
申请日:2014-09-16
Applicant: 国家计算机网络与信息安全管理中心 , 北京赛思信安技术有限公司
IPC: G06F13/28
Abstract: 本发明提供了一种PCI‑E零拷贝DMA数据传输方法,属于PCI‑E数据传输技术领域。本方法首先在数据源和数据目的系统中各自分配适当大小的物理内存,并分别对两个系统中分配的物理内存使用双向链表建立空闲内存池和工作内存池;在数据源系统上,用户应用程序传输数据时,从空闲内存池取得空闲内存后直接进行数据填充,数据填充完后传输给数据目的系统;在数据目的系统,将接收的数据存入工作内存池,用户应用程序使用相应的API接口从工作内存池中取得数据进行使用;使用完毕后将相应的内存归还给空闲内存池。本发明极大地减轻了CPU的压力,减少了系统调用,对于大规模小数据量的传输减轻了用户内核空间的切换,提高了系统效率。
-
公开(公告)号:CN104202659A
公开(公告)日:2014-12-10
申请号:CN201410471628.X
申请日:2014-09-16
Applicant: 国家计算机网络与信息安全管理中心 , 北京赛思信安技术有限公司
IPC: H04N21/44 , H04N21/443 , H04N19/436
Abstract: 本发明提供了一种网络视频流乱序分段解码方法,涉及视频流处理技术领域。本方法首先从网络中捕获传输来的视频数据包,并为每个视频流建立一个缓存,将数据包按序存在对应的位置,当连续数据包达到指定大小时,进行视频解码。采用FFmpeg技术进行数据块解码,解码时修改相应的上下文,通过伪装的方式让FFmpeg继续解码工作。此外本发明采用具有多个加速单元的独立板卡进行解码,加速单元采用FFmpeg技术实现,从而可实现并行解码。无论网络视频流以何种顺序接收,本发明方法均能以数据块为单位将视频流拼接并进行最大程度解码,并可支持多数据流并发解码;本发明方法提高了视频流有效帧数的接收率和解码率。
-
公开(公告)号:CN104202659B
公开(公告)日:2017-10-17
申请号:CN201410471628.X
申请日:2014-09-16
Applicant: 国家计算机网络与信息安全管理中心 , 北京赛思信安技术有限公司
IPC: H04N21/44 , H04N21/443 , H04N19/436
Abstract: 本发明提供了一种网络视频流乱序分段解码方法,涉及视频流处理技术领域。本方法首先从网络中捕获传输来的视频数据包,并为每个视频流建立一个缓存,将数据包按序存在对应的位置,当连续数据包达到指定大小时,进行视频解码。采用FFmpeg技术进行数据块解码,解码时修改相应的上下文,通过伪装的方式让FFmpeg继续解码工作。此外本发明采用具有多个加速单元的独立板卡进行解码,加速单元采用FFmpeg技术实现,从而可实现并行解码。无论网络视频流以何种顺序接收,本发明方法均能以数据块为单位将视频流拼接并进行最大程度解码,并可支持多数据流并发解码;本发明方法提高了视频流有效帧数的接收率和解码率。
-
公开(公告)号:CN104202656A
公开(公告)日:2014-12-10
申请号:CN201410472027.0
申请日:2014-09-16
Applicant: 国家计算机网络与信息安全管理中心 , 北京赛思信安技术有限公司
IPC: H04N21/439 , H04N21/443
Abstract: 本发明提供了一种网络音频MP3流乱序分段解码方法,涉及音频流处理技术领域。本方法从网络中捕获音频MP3数据包,获取MP3数据帧并根据位置信息存储在缓存中,一个session建立一个缓存,当有连续MP3数据帧达到指定大小时,进行音频解码。采用FFmpeg技术进行数据块解码,解码时修改相应的上下文,通过伪装的方式让FFmpeg进行解码。采用具有多个加速单元的独立板卡进行解码,加速单元采用FFmpeg技术实现,从而可实现并行解码。无论网络音频MP3以何种顺序接收,本发明方法均能以固定数量的音频帧为单位拼接并进行最大程度解码,并可支持多数据流并发解码,提高了音频流有效帧数的接收率和解码率。
-
公开(公告)号:CN104202656B
公开(公告)日:2017-08-04
申请号:CN201410472027.0
申请日:2014-09-16
Applicant: 国家计算机网络与信息安全管理中心 , 北京赛思信安技术有限公司
IPC: H04N21/439 , H04N21/443
Abstract: 本发明提供了一种网络音频MP3流乱序分段解码方法,涉及音频流处理技术领域。本方法从网络中捕获音频MP3数据包,获取MP3数据帧并根据位置信息存储在缓存中,一个session建立一个缓存,当有连续MP3数据帧达到指定大小时,进行音频解码。采用FFmpeg技术进行数据块解码,解码时修改相应的上下文,通过伪装的方式让FFmpeg进行解码。采用具有多个加速单元的独立板卡进行解码,加速单元采用FFmpeg技术实现,从而可实现并行解码。无论网络音频MP3以何种顺序接收,本发明方法均能以固定数量的音频帧为单位拼接并进行最大程度解码,并可支持多数据流并发解码,提高了音频流有效帧数的接收率和解码率。
-
公开(公告)号:CN104239248A
公开(公告)日:2014-12-24
申请号:CN201410472222.3
申请日:2014-09-16
Applicant: 国家计算机网络与信息安全管理中心 , 北京赛思信安技术有限公司
IPC: G06F13/28
Abstract: 本发明提供了一种PCI-E多缓冲区DMA数据传输方法,涉及PCI-E数据传输技术领域。本方法在数据源系统和数据目的系统中各自分配N块物理内存,分别对两个系统中的N块物理内存通过双向链表建立空闲内存池及工作内存池;从空闲内存池获取用于写入数据的内存,写入数据的内存加入工作内存池;在环形缓冲区中写入所要操作的内存的物理起始地址和大小。本发明通过空闲内存池及工作内存池的使用减少内存拷贝次数和系统调用次数;通过环形缓冲区增加DMA的数据传输速率。本发明在大数据量的传输下降低了系统的等待开销,提高了传输效率。
-
公开(公告)号:CN104239248B
公开(公告)日:2017-06-06
申请号:CN201410472222.3
申请日:2014-09-16
Applicant: 国家计算机网络与信息安全管理中心 , 北京赛思信安技术有限公司
IPC: G06F13/28
Abstract: 本发明提供了一种PCI‑E多缓冲区DMA数据传输方法,涉及PCI‑E数据传输技术领域。本方法在数据源系统和数据目的系统中各自分配N块物理内存,分别对两个系统中的N块物理内存通过双向链表建立空闲内存池及工作内存池;从空闲内存池获取用于写入数据的内存,写入数据的内存加入工作内存池;在环形缓冲区中写入所要操作的内存的物理起始地址和大小。本发明通过空闲内存池及工作内存池的使用减少内存拷贝次数和系统调用次数;通过环形缓冲区增加DMA的数据传输速率。本发明在大数据量的传输下降低了系统的等待开销,提高了传输效率。
-
公开(公告)号:CN104239249A
公开(公告)日:2014-12-24
申请号:CN201410472223.8
申请日:2014-09-16
Applicant: 国家计算机网络与信息安全管理中心 , 北京赛思信安技术有限公司
IPC: G06F13/28
Abstract: 本发明提供了一种PCI-E零拷贝DMA数据传输方法,属于PCI-E数据传输技术领域。本方法首先在数据源和数据目的系统中各自分配适当大小的物理内存,并分别对两个系统中分配的物理内存使用双向链表建立空闲内存池和工作内存池;在数据源系统上,用户应用程序传输数据时,从空闲内存池取得空闲内存后直接进行数据填充,数据填充完后传输给数据目的系统;在数据目的系统,将接收的数据存入工作内存池,用户应用程序使用相应的API接口从工作内存池中取得数据进行使用;使用完毕后将相应的内存归还给空闲内存池。本发明极大地减轻了CPU的压力,减少了系统调用,对于大规模小数据量的传输减轻了用户内核空间的切换,提高了系统效率。
-
公开(公告)号:CN106484815B
公开(公告)日:2019-04-12
申请号:CN201610849786.3
申请日:2016-09-26
Applicant: 北京赛思信安技术股份有限公司 , 国家计算机网络与信息安全管理中心
IPC: G06F16/2453 , G06F16/22 , G06F16/2452
Abstract: 本发明提供了一种基于海量数据类SQL检索场景的自动识别优化方法,属于海量数据统计分析领域。本发明通过五方面来进行优化:引入lucene作为可选存储介质;对每个数据文件的检索字段增加bloomfilter索引(bf索引);对不同检索场景的划分及最优存储介质的选择;在进行lucene检索场景时,将类SQL语句转换为lucene语句;对lucene存储介质和bf索引添加有效性的会话级设置。在检索时,首先判定bf索引会话级的有效性,通过bf索引缩小待检索数据文件列表,再判定lucene存储介质的会话级有效性。本发明有效降低了海量数据检索时集群的资源消耗,大幅度提升了海量数据的检索性能。
-
公开(公告)号:CN106708926A
公开(公告)日:2017-05-24
申请号:CN201611001399.0
申请日:2016-11-14
Applicant: 北京赛思信安技术股份有限公司 , 国家计算机网络与信息安全管理中心
Abstract: 本发明提出一种支持海量长文本数据分类的分析模型的实现方法,属于大数据文本分析技术领域。本发明采用HanLP分词工具中的标准分词并采用改进的CHI算法,一方面有效降低文本分类时每篇文章的词向量空间的维度,降低文本分类计算的时间复杂度,提升算法效率,满足大数据背景下海量长文本分类时的性能需求;同时最大程度低减少由于降低向量空间维度数而造成分类准确性降低。采用TFIDF算法能够有效消除了文本与向量之间的屏障,最后采用朴素贝叶斯分类算法,能够准确的将文本进行较好的训练,实现长文本的准确的分类。本发明能有效地解决在大数据环境下长文本分类的性能指标和准确性指标的矛盾性问题,具有广泛的应用前景。
-
-
-
-
-
-
-
-
-