赛思大数据存储与管理平台(Scistor DataFusion)
一、赛思分布式数据仓库（DataFusion iDriller）
产品功能
产品应用场景
ScistordataFusion 可以助力各大企业解决如下大数据需求：
1、对结构化数据、半结构化数据、非结构化数据进行快速整合和统一管理，支撑PB级数据存储管理。
2、对海量数据进行多语义高速检索。
3、对文本数据和结构化数据进行统一检索和统计分析。
4、对Hadoop平台和传统关系型数据库中的数据进行关联分析。
5、实现操作可视化、数据可视化。
6、构建跨地域多数据中心，实现多数据中心的统一管理和访问。
产品特点
高容量、高性能
Datafusion大数据存储与管理产品可以支持PB级规模的数据管理；在万亿行数据规模下，进行条件检索可达到秒内响应。
多类型数据统一处理
产品支持对结构化、非结构化数据的统一存储管理和统一访问查询；另外，也支持对实时的流数据进行处理。
高可扩展
产品可进行横向扩展，对用户透明化，且扩展后的性能随系统扩展而近线性增加。
丰富的查询能力
产品支持全文检索、文本查询、文本统计、UDF查询、关联查询、正则表达式查询等丰富的查询语义。
标准化接口
在接口方面，产品提供JDBC/ODBC编程接口，也支持扩展的SQL语法，方便应用开发编程。
可靠安全
产品提供了副本机制保障数据可靠性，支持权限机制保证数据安全性。
案例举例
1.海量邮件管理和检索系统
客户需求
1 ) 难满足亿级规模异构邮件数据的统一存储和管理；
2 ) 不能对文本和结构化属性信息进行统一检索；
3 ) 检索效率低。
解决方案
2. 用户上网详单管理平台
用户需求
1 ) 现有系统没有采用Share-nothing 架构，缺乏横向扩展能力，无法满足数据规模迅速增加而对存储横向扩展能力的要求；
2 ) 现有系统无法支持对千亿级规模的网络访问记录的高效检索；
3 ) 数据跨全国31个省分布，现有系统无法支持构建跨地域的数据中心，无法实现对分布在全国各省的数据进行统一管理和访问。
解决方案
方案效果
3. 情报管理与分析系统
用户需求
1 ) 系统存在达十亿规模的传真、邮件等小文件，现有系统无法管理该规模的小文件，存在文件访问速度非常低的问题；
2 ) 业务系统需要对传真、邮件、视频、图片等内容的深层次利用，现有系统无法支持对这种格式数据的抽取；
3 ) 现有系统仅能支持根据文件名对文件进行访问，不支持对文件内容进行分析和深度利用，这已经远远无法满足业务系统的情报分析需求。
4 ) 现有系统无法满足业务对文件进行协同分析的需求。
解决方案
1 ) 系统有效支持了对十亿规模小文件的管理，解决了对文件访问性能非常低的问题；
2 ) 系统除了支持按照文件名访问文件，还支持了按照文件属性及内容对文件进行检索和访问；
3 ) 系统实现了对传真、图片、视频、视频、邮件数据的内容提取；
4 ) 提供了文本内容分析和协同分析能力，满足了对文件内容进行深度利用和协同分析的要求。
二、全文检索数据库iHyperDB
赛思全文检索数据库iHyperDB提供便捷、高效的数据内容检索能力，用户无需关心数据类型和数据所在位置，只需提交查询条件即可获取所有关联结果。赛思全文检索可支持文本、数字、日期、字符串等各种数据类型的高效索引，支持邻近搜索、负面搜索、语义关联搜索，包括横向关联、纵向钻取、分类搜索等，可提供各类数据库的实时搜索服务，并支持中、英、维、藏等多种语言。
产品功能
产品应用场景
1. 海量非结构化文本数据存储
提供专业的数据加载API，快速加载海量非机构化数据，实现对加载的数据自动分类、索引、分词、摘要、排重、聚类等工作。
2. 站内搜索
通过文本信息从大量的文本数据中快速、准确地查找出要的信息。
a) 平台内关键字搜索
b) 商品网站的搜索
c) 文件管理系统，对文件的搜索功能
3. 垂直搜索
是针对某特定行业或种类数据进行信息的整合，形成专题检索库，对外提供全文检索服务。
a) 为对某个行业提供的搜索引擎
b) 具有对搜索引擎细分和延伸的特点
c) 应用于购物搜索、房产搜索、日志搜索、邮件搜索等
产品特点
特色检索
支持海量文本数据存储与管理，提供SQL方式实现对数据的全文检索和二进制检索功能。
开放性
赛思全文检索数据库可对接其他业务平台，提供可视化界面，用户可快速地配置相关参数，启动搜索服务，测试搜索程序，可无缝的与现有数据库系统融合，实现全库一键搜索关联分析的数据需求。
扩展性
系统处理能力随节点增加线性提高，支持在线增加或者减少数据节点。
高可靠
产品支持元数据节点HA，系统内没有单点故障，任意节点损坏都不会影响系统的正常运行。
案例举例
某军队海量邮件预处理和检索平台
项目背景
1) 接收每天10亿份以上邮件数据和日志数据存储；
2) 通过SQL方式对外提供统一的全文检索功能；
3) 支持高性能数据加载能力；
4) 实现百亿以上数据的全文检索能力。
解决方案
客户收益
提高邮件的处理能力和速度，由每天处理3亿份提升到10亿份以上，数据存储从1个月提升到6个月。
提升邮件数据检索效率，支持多种检索机制，获取更深入的情报信息。
某省公安厅警务云应用服务资源库
项目背景
警务云平台提供的应用服务资源库支持将中心数据资源仓库中的数据按要素(人、车、案等要素)进行分类重建，在搜索人、车等要素时直接以该要素的电子档案的形式展现，实现“一人一档”、“一车一档”、“一案一档”的效果。
解决方案
客户收益
针对覆盖全警务的数据资源的关键词信息快速发现，实现警务云搜索，对业务应用系统进行深入关联，对公安内外数据进行深度挖掘，实现短时间内将海量信息转化成战斗力。
三、数据资源安全访问总线iDatabus
iDatabus数据总线系统按照模块可以划分为六大部分：数据库代理服务、敏感信息保护、权限服务、审计服务、数据库访问客户端和数据总线管理系统。其中数据库客户端与数据库代理服务之间通过C/S方式交互，WEB管理系统与数据库代理服务、敏感信息保护、权限服务、审计服务之间通过B/S的方式进行交互，用户可以通过web管理系统对数据库进行数据加载、数据操作访问、敏感信息管理、权限分配和数据操作审计等操作管理。
产品功能
产品特点
统一透明的数据访问
iDatabus对上层应用屏蔽关系数据库集群的物理拓扑，上层应用看到的是统一的逻辑视图，无需关注数据分区、数据分片、数据分布等细节，极大地便利了上层应用的开发，为业务系统的快速构建、快速部署提供了有力支持。
高效跨库数据关联分析
iDatabus可以实现同构/异构数据库之间的数据关联分析，利用数据总线的分析引擎实现对存放在不同数据库中的数据表进行关联分析，方便用户对数据的灵活存储管理。
多层次敏感数据保护
数据总线对敏感数据实现了访问权限软保护和加密入库硬保护的两重保护机制，集中统一的数据访问权限管理可实现对数据库字段级的增删改查控制，同时可对字符型字段进行敏感信息进行加密入库保护，实现磁盘级的信息安全防护。
简单易用的系统操作维护
iDatabus 数据总线提供图形化web管理方式，根据权限管理员、审计管理员、数据库库管理员、数据库普通用户等用户角色，可通过图形化web界面实现数据访问权限分配、密钥管理，数据操作审计管理，数据加载、数据访问等工作。
产品应用场景
1. 多种数据库统一管理应用场景：在数据中心有多种数据库系统的情况下，为方便应用系统对数据库系统的统一入口操作，同时避免多个数据库系统造成的权限分配困难，可以采用iDatabus 对数据库系统进行集中管理和控制。
2. 数据库防火墙应用场景：把应用系统和数据库系统分置于不同的局域网段内，应用系统通过iDatabus提供的代理服务来访问数据库，可以隔离应用系统与数据库系统，保护数据库存储的数据安全，同时结合敏感信息加密保护、权限管理和操作审计功能，可以全方位地实现对数据库的防护加固。
3. 跨数据库访问的应用场景：应用于需要在异构数据库之间进行跨库数据关联查询和分析的场景。
4. 敏感信息保护的应用场景：当需要对数据库中的敏感信息进行单元级(行列)权限控制和数据访问保护时，iDatabus可以提供基于硬件数据加解密的敏感信息保护功能。
5. 对noSQL 数据库进行SQL操作的应用场景：noSQL数据库已经开始一些特定的场景使用，但对于很多用户来说，更愿意用熟悉的SQL 语法对数据库系统访问操作，这种情况下可以用iDatabus作为noSQL数据库的SQL 引擎使用，为用户提供noSQL数据库的SQL 接口。
案例举例
某部多源异构数据加密系统
项目背景
平台下有超过十个业务系统，数据库种类多，导致前端加载机管理复杂；访问标准不统一；权限不统一(如：无权限用户无法通过检索查询获得用户的电话号码信息；不同权限的用户对电话号码有不同的操作权限；不同的电话号码加密后密文不同，相同的电话号码加密后密文相同等)；数据库层没有统一的审计管理。
解决方案
客户收益
统一了业务加载和访问接口，统一了敏感信息加密管理，统一权限管理，统一审计管理，降低了用户的管理和运维成本。
