九瑞瑞采产品是基于 Internet 信息获取技术的综合性信息采集分析平台,作为完全个性化信息服务专家,其主要目的是帮助您从 Internet 网络获取信息,并有效进行分类,快速检索,定向发布,让您和您的用户快速有效地得到所需要的信息。
网络信息采集子系统主要针对用户设置的采集目标,做定向的信息采集,并生成相应的接口文件;某一个采集任务完成后,系统主动的向信息处理子系统发送消息,激活信息处理进程,对采集来的信息进行元数据的分析获取;在此过程中信息处理子系统自动监控信息处理的阶段,并且可以对处理过程进行控制和中断,通过人机交互校验处理结果或者获取某些中间结果;完成信息处理后,系统根据用户的设置,自动生成数据库接口文件,发送消息给信息发布系统,同时激活发布系统的数据装载进程。
|
| 系统主要功能 |
(1)采集模版定制
用户可以通过模版定制功能制作自己要采集对象的信息模版,该模版用户指导采集器进行定向采集。
(2)模版维护功能
一次定制多次使用,方便移植和共享;模版增加、删除及导入和导出。
(3)任务维护功能
用户可以通过模版群建立自己感兴趣的采集和监控任务。
(4)定时触发
可以根据用户设置的时间定时或者间隔的触发采集器。
(5)元数据获取
对用户采集对象元数据进行自动获取。
(6)资源加载
将采集来的信息按照用户设置好的路径自动加载到数据库中;
|
| 系统特点 |
(1)多用户多目标
分布式的系统架构,适用于多用户、多目标的采集和监控
(2)多任务多线程
可以同时采集和监控多个任务,每个任务采用多线程。
(3)断点续传
系统自动保存断点状态,任务重新启动时可以从上次断点处重新采集。
(4)采集的高有效性
完全过滤网页的无用信息,直接命中用户感兴趣的区域。
(5)URL去重
高性能的去重机制,防止重复多次下载。
(6)内容过滤
基于文本内容的过滤机制,防止热点信息多次下载。
(7)多编码支持能力
支持ANSI、UTF-8及Unicode多种编码的网页采集。
(8)网页自动解析
自主研发的支持HTML、XML、DHTML等多格式的网页的解析器。
(9)智能性
强大的对信息智能分析分析和处理能力;
|
| 方案与案例 |
|
舆情监控系统 |
| [案例] 黑龙江人事厅人事热点舆情监控系统 |
|
互联网信息采集分析系统 |
|
产品价格信息采集处理系统 |
| [案例] 大庆油田物资集团物资价格信息采集发布与处理系统 |
|
网络非法内容监控系统 |
| [案例] 企业网络信息违法线索发现系统 |