牛宝体育新闻
大数据牛宝体育国家税务总局山东省税务局
通过应用前沿大数据MPP技术,完成硬件适配、分布式数据库搭建、产品部署、数据汇聚、数据模型建设、私有空间建设、数据安全服务的开发设计和集成实施等,对云平台计算资源进行调整,为山东省税务局各级税务机关提供数据支撑。
1、数据库安装应符合下列条款:a)支持命令行或图形化的安装;b)支持命令行或图形化的可配置安装能力;c)依据安装环境提供相应的初始化参数配置值;d)提供图形化软件组件管理向导工具。2、数据库重启应符合下列条款:a)支持命令行或图形化的方式关闭和启动服务;b)关闭服务后,再启动服务,服务应正常大数据。
数据库安装配置日志应符合下列条款:a)数据库提供软件安装的日志记录功能;b)记录的软件安装信息完整正确;c)数据库提供安装配置操作的日志记录功能;d)记录的配置操作信息完整正确。
数据库升级维护应符合下列条款:a)支持版本升级,保证版本间功能和数据的兼容性;b)厂商提供当前版本与历史版本的差异说明文档,包含新版本对软件和硬件的支持情况。
数据库支持在不同CPU架构的节点上安装配置、升级,且安装配置、升级数据库的命令行或图形界面相同或相似。
数据库服务器端支持主流Linux发行版本的操作系统。客户端支持主流Linux发行版本、Windows及主流国产操作系统。
数据库符合下列条款:a)支持节点安装配置;b)支持通过单一节点发起并将数据库部署在多个节点上。
数据库参数配置应符合下列条款:a)依据工作负载和运行环境,提供配置参数修改的能力;b)修改数据库配置参数后,配置参数立即生效或数据库重新启动生效,立即生效的配置参数和需要数据库重新启动方可生效的配置参数应在相关文档中明确。
数据库基础数据类型应符合下列条款:a)支持数值类型;b)支持字符类型;c)支持二进制类型;d)支持日期和时间类型;e)支持布尔类型;f)支持(大)文本类型;g)支持大对象类型。
数据库核心SQL能力应符合下列条款:a)支持左外连接;b)支持右外连接;c)支持内连接;d)支持全连接。
数据库操作符应符合下列条款:a)支持逻辑操作符及相关运算;b)支持比较操作符及相关运算;c)支持算术运算符及相关运算。
数据库条数据库件表达式应符合下列条款:a)支持对比条件表达式;b)支持逻辑条件表达式;c)支持空值条件表达式;d)支持等于条件表达式;e)支持模式匹配条件表达式;f)支持区间条件表达式;g)支持IN条件表达式;h)支持存在条件表达式;i)支持以上条件表达式的复合表达式。
数据库支持基础对象类型,包括:1、用户:应支持用户的创建、删除、修改。2、角色:应支持角色的创建、删除、修改。3、存储过程:应支持存储过程的创建、删除、修改。4、表对象:应支持表操作功能。5、序列:应支持自增序列。6、约束:应支持主键约束、外键约束、唯一性约束、检查约束和联合主键约束。7、游标:应支持游标功能。8、视图:应支持视图的创建、删除、修改。9、函数:应支持数值计算函数、字符处理函数、日期时间值函数、间隔函数、类型转换函数、位运算函数、聚合函数、格式化、系统信息等常用函数。
数据库基础表分区管理应支持以下水平分区方式:a)哈希分区方式;b)范围分区方式;c)列表分区方式。
数据库支持对象变更包括:a)对象变更应支持数据库的创建、删除、更新以及数据库属性的查询。b)对象变更应支持在线变更表结构、索引。c)对象变更应支持数据的增加、删除、修改和查询。
数据库死锁处理应符合下列条款:a)在并发执行过程中,能检测到死锁;b)提供解决全局死锁的机制;c)具备死锁处理能力;d)具备死锁超时回滚的能力;e)具备死锁检测与处理记录功能。
1、数据库慢SQL统计功能应符合下列条款:支持统计SQL语句;支持统计用户名;支持统计数据库名;支持统计执行时长。2、数据库性能状态统计功能符合下列条款:应支持统计每秒事务数和查询数;应支持统计SQL平均响应时间;应支持统计高频SQL;
数据库运行时统计信息增强功能,包括:a)支持统计集群节点CPU使用情况;b)支持统计集群节点内存使用情况;c)支持统计集群节点磁盘使用情况;d)支持统计集群节点网络使用情况。
数据库日志统计应符合下列条款:a)具备对各类事件进行日志记录的功能,可通过日志查看操作内容、执行过程和结果;b)具备提示和警告功能,提示或警告数据库结构修改、数据库运行配置修改等重要操作;c)日志完整正确,并且提供可读文本的形式;d)支持中文/英文日志。
数据库报警功能应符合下列条款:a)厂商提供通知管理员的方法或工具;b)支持设置报警基线,数据库运行中遇到重要事件、异常事件和状态、超过报警阈值等情况时,通知管理员;c)数据库提供报警API;d)报警发生时,支持报警信息的实时展示。
数据库数据迁移应符合下列条款:a) 数据库提供元数据、数据库、数据库对象、表数据快速迁移的功能;b)支持数据迁移工具实现同构或异构数据库之间的数据迁移;c)支持全量数据迁移、增量数据持续同步等迁移模式;d)在数据迁移过程中应具备应对传输异常的能力,保障数据迁移的稳定性、连续性和一致性;e)支持存量数据的一次性迁移和增量数据库的持续同步;f)支持多种不同类型的源数据库和目标数据库之间的数据迁移。
数据库对源数据库和目标数据库之间的数据进行比对,应支持数据一致性,并提供一致性比对报告;
数据库数据备份应符合下列条款:a)运行状态下支持对数据库进行全库备份;b)运行状态下支持对数据库进行部分备份;c)运行状态下支持对数据库进行增量备份。
数据库应支持多种备份存储媒体,支持多种存储媒体的部分、完整数据库数据还原处理能力。
数据库集群构建与管理功能应符合下列条款:a)支持集群的运行环境;b)支持创建并配置数据库集群;c)配置信息至少包括日常运维管理、容灾管理、日志管理、备份管理、监控等。
数据库数据分布功能应符合下列条款:a)支持自动数据分布;b)按照指定规则设置数据分布。
a)支持在线扩容、缩容;b)集群扩容、缩容过程中支持分布式事务ACID特性。
数据库应支持对应用透明。当数据分布、分布计算、集群扩展、数据重分布等变化时,不需要修改应用代码。
a)具备图形化功能,提高易用性;b)具备导入、编辑、保存、执行SQL语句和SQL脚本功能;c)具备复制、编辑现有数据库对象功能;d)具备关键词显示标记、动态语法提示的SQL编辑器功能。
a)支持创建、修改、删除用户的功能;b)提供定义用户的功能;c)支持创建、修改、删除角色的功能,且提供用户自定义角色的功能。
数据库厂商提供SQL执行计划查看工具,并应符合下列条款:a)提供与数据库管理系统进行SQL交互的工具,方便运维工作;b)支持查看SQL语句查询执行计划与统计信息。
1、数据库创建数据库对象工具应符合下列条款:a)支持创建表的功能,支持定义表结构、约束、存储配置管理的功能;b)支持创建索引的功能,支持定义索引结构、类型、存储配置管理的功能;c)支持创建视图的功能,支持视图定义的功能;d)支持创建约束的功能,支持约束定义的功能。2、数据库修改数据库对象工具应符合下列条款:a)支持修改表的功能,支持定义表结构、约束、存储配置管理的功能;b)支持修改索引的功能,支持定义索引结构、类型、存储配置管理的功能;c)支持修改视图的功能,支持视图定义的功能;d)支持修改约束的功能,支持约束定义的功能。3、数据库删除数据库对象工具应符合下列条款:a)支持删除表的功能,支持定义表结构、约束、存储配置管理的功能;b)支持删除索引的功能,支持定义索引结构、类型、存储配置管理的功能;c)支持删除视图的功能,支持视图定义的功能;d)支持删除约束的功能,支持约束定义的功能。
数据库导入导出工具应符合下列条款:a)支持导出不同格式,可以将不同格式数据导入到数据库中;b)支持不同级别和不同数据库对象的导入/导出功能;c)支持从文本文件或者其他上游数据源将数据导入;d)支持SQL脚本进行导入导出。
数据库运维工具应符合下列条款:a)支持数据库、数据库存储对象结构、数据、统计信息更新维护;b)支持数据库创建、数据库修改、数据库删除、数据库模板维护;c)支持数据库任务自动化调度作业管理;d)支持图形化展示数据库管理的各种元数据界面,展示的内容应具有层次性,包括模式、非模式数据字典信息。
a) 收集和统计数据库某时间段的运行状态及性能信息,判断该时间的数据库运行性能瓶颈;
d) 提供数据库实例、网络通信、数据库对象的跟踪日志,日志数据应准确、完整;
数据库应支持稳定运行,符合下列条款:a)支持连续稳定运行;b)支持数据库管理系统运行风险的报警能力。
数据库应支持快速切换,在主数据库出现故障时,能够快速切换到备用数据库,保障业务正常运行。
数据库应支持主备备份,符合下列条款:a)支持多副本,支持主副本与从副本之间的数据同步,最低时延由生产厂商提供;b)数据库提供基于主机的数据库复制技术,包括基于日志/元数据的备用数据库远程数据库备份技术,并应具备数据副本间的复制能力。
数据库应支持实例容灾,符合下列条款:a)在任意数据库实例出现故障时,集群内服务正常运行,数据不丢失,集群整体业务可用;b)在实例故障、节点故障等单数据库实例故障时,RPO时间等于0,RTO时间小于30s。
数据库应支持容灾部署,符合下列条款:a) 数据库应提供远程容灾部署与管理功能;b)数据库应提供生产中心与备份中心之间的容灾部署与管理功能。
数据库应支持同城容灾,符合下列条款:a)支持同城双中心部署,当主中心故障时,业务应切换到备中心;b)由于网络、供电等原因造成的可用区级故障,触发集群计划外停机,在同城多可用区场景下,RPO时间等于0,RTO时间小于1分钟
数据库应支持检测报警,符合下列条款:a)支持数据库实例启动时错误检测能力;b)支持加载不同文件格式、不同大小数据出现错误时的故障检测和处理能力;c)支持数据库备份执行过程中发生故障时报错或者报警能力;d)支持数据库恢复发生故障时报错或者报警能力。
数据库应支持故障恢复,符合下列条款:a)系统故障重启后能正常运行且支持数据一致性;b)支持完全媒体故障恢复的能力;c)数据库提供基于时间点故障恢复功能。
数据库应支持数据库事务故障、系统故障、存储媒体故障不同级别的可恢复能力。
c)支持飞腾、鲲鹏、海光等不同CPU架构的服务器,支持包括X86、ARM等多种架构服务器的混合部署。
数据库服务周期应符合下列条款:a)产品自发布之日起至产品停止功能升级(包含新特性、新硬件支持)之日止不少于5年;b)产品停止功能升级之日起至产品停止功能维护(主要包括问题修复)之日止不少于4年;c)产品功能维护停止之日起至产品停止安全维护(包括中高风险漏洞修复)之日止不少于2年;d)自销售之日起,产品售后服务周期不少于6年;e)产品说明书中应明确产品发布日期、计划停止升级日期、计划停止服务日期。
数据库供应链与服务保障符合下列条款:a)应提供多种形式支持服务,包含电话、电子邮件、远程连接等;b)应提供技术支持服务,支持同城4h、异地12h响应要求,两个工作日解决问题,对于未能解决的问题和故障应提供可行的升级方案;c)应提供培训材料、产品手册、培训视频等培训相关内容;d)应建立全国技术服务体系和服务团队,符合专业服务体系标准要求,提供原厂中文服务;e)服务周期内应支持版本升级(费用包含在报价内);f)开源产品应对获得的社区源代码进行安全性和知识产权审查与管理;g)应提供数据库参数、慢SQL语句的性能优化指南,包含性能优化的具体措施、技巧、案例及建议等。
支持数据加密和访问控制。支持明文口令、MD5散列口令、LDAP、GSS-encoded Kerberos tokens(RFC 1964)、Kerberos等多种认证方式方式,支持通过SSL加密传输机制增强安全性。支持对客户端网络的“白名单”和“黑名单”控制机制。
数据库厂商应建立漏洞管理机制,及时通过邮件、网站等方式将安全漏洞告知用户,并提供安全补丁对漏洞进行修复。
支持根据每个列的数据类型、基数和查询特点,自动选择适用的排序方式和压缩算法,对不同数据类型支持多种压缩算法,高压缩比压缩。
需集成优化器和执行引擎,提供对数据库或模式的整体优化设计和特定查询的增量优化。
支持实时聚合,在数据装载的同时,完成大表关联、分组和Top-N排名等计算的实时聚合分析。
提供SQL编辑、多行SQL查询,分割或换行等功能。数据查询列表功能展示个人的数据查询记录。
支持通过前台页面的方式对数据权限进行控制,可对用户进行连接访问及操作权限的分配,详细到具体数据库中表、行、列、视图、函数组、存储过程,并可对用户的指定操作进行授权。
支持基于角色的访问控制,支持权限分离和细粒度的管控,支持细化到表数据操作的关键语句和关键字;支持用户最小权限管理,高权限操作都需要先申请权限审批,才能进行相应的数据更改和提取。
支持可视化语句执行界面,同时支持原生终端命令行。具备数据回退功能,针对生产数据操作时,误操作语句可进行撤销。
支持底层接口获取执行的SQL语句,对用户行为进行分析判定,并对高危行为进行拦截、告警和记录。针对数据库的操作行为,进行操作中的同步监控,操作后的全方位审计,包含系统管理类和安全行为的审计,并留存日志和记录。
内置统一的数据库SQL编辑器,支持各类数据库对象的创建、查看和编辑;支持自定义执行/选中执行、提示快捷键。
支持结果集复制开关功能牛宝体育。支持执行语句格式美化功能;支持查询语句收藏功能。支持Csv、Excel、Txt格式数据文件导入;支持遇错后继续进行或直接终止;支持导入任务断点续传。
支持基于DAG有向无环图关系的流式调度,支持在流式调度中进行定时循环调度,支持在定时循环调度中进行流式调度。
支持Linux32/64、Windows7以上等操作系统以及麒麟、UOS等国产操作系统中进行作业调度。
作业调用后,支持通过程序退出码及标准输出管道中包含的特征字符等信息,来判断作业调用成功与否。
支持按日,星期,上中下旬,月初月末,季初季末,年初年末,工作日的日期计划进行运行或不运行。
支持对单个作业进行循环调度;支持对作业流中的其中一段进行循环调度和设置退出循环调度的条件。
支持同一个作业在不同批次下进行参数化调用。作业的参数可以在平台中进行变量化管理。
支持对进行中的作业流进行暂停和恢复;支持对运行异常的作业进行跳不运行;支持选择作业流中的任意作业或者后续依赖作业进行运行。
支持运行异常(报错、不按计划)的作业告警;支持调度服务器和工作服务器的资源消耗状态进行告警;支持关键步骤的消息提醒告警。
支持对整个平台的作业进行状态监控(成功、失败、异常、未运行等);支持对调度平台的的服务器节点情况进行监控;支持对作业运行的时段分布情况进行监控分析;支持对各作业耗时的情况进行统计排名分析等;支持对作业的异常情况(超时或报错)进行排名分析;支持对作业运行的日志进行查看分析;支持对作业的运行日志(含历史日志)查看分析。
在大批量作业的调度下,调度计算引擎的吞吐量达到100+个/秒以上;在大批量作业的调度下,并发数能达到1000+个以上;支持十万级作业规模的调度,并能够保证稳定连续运行不卡死。
提供基于http的web应用程序接口;提供基于命令行的应用程序接口;提供作业类型插件的扩展性;支持agent节点热扩展,提供负载均衡能力。
容量≥7.68T,接口U.2企业级固态硬盘,支持NVMe协议,兼容现有服务器。
组建专业的项目团队,提供平台网络、操作系统、数据库、数据工具、数据应用的一体化性能等层面的整体架构规划、设计、实施及上线保障。主要包括:升级改造现有服务器,完成大规模并行处理数据库、数据操作支持和管控工具、作业调度工具等的部署、实施和上线运行;开展数据汇聚,提供数据链路管理服务,实现与应用支撑平台省局版汇聚区链路融合建设;构建数据模型大数据,建设热点业务数据主题;建设山东省税务局省局和各地市私有空间;加强数据安全使用管理,有效管控数据安全。