|
税务数据集成平台TDIP（Tax
Data Integration Platform）是浙江西安交大龙山软件有限公司面向税务行业的数据集成服务产品，TDIP在统一的技术架构上为税务数据提供数据集成应用服务、数据集成标准和集成策略，满足数据应用项目中对数据的可访问性、可用性、一致连贯性、可审计性、安全性等数据集成质量的要求。
税务数据集成平台可提供基于统一架构的综合性数据集成服务：
n
历史数据迁移：实现历史遗留数据的重用，将历史数据迁移到新的目标数据库中。
n
数据同步：实现分布的数据库中数据的上传、下载，保证分布数据库中的数据的一致性。
n
数据合并：实现不同应用的数据库中的个性化数据到统一结构的数据库中的数据的合并，包括清洗、转换等操作。
n
数据交换：实现分布的数据库和集中的数据库之间的交互。包括数据集中、数据分发、格式转化等。
n
数据仓库：实现将分散的数据集中到统一的数据仓库中，并建立统一的数据模型来存储。包括：数据的上传、转换、将处理后的结果装载到事实表中，结合维度表形成数据立方。供OLAP分析、报表、预测等BI应用使用
n
数据联邦：保存数据源的映射关系，数据仍在原系统中存储，主要满足数据的实时处理、统一结构视图等需要。
TDIP管理工具
•
ETL服务（任务）可视化配置
•
ETL加工流程可视化配置
•
数据库文件等资源可视化配置
•
变量/规则的可视化配置
•
ETL应用项目的可视化建立和部署
•
ETL加工过程的可视化监控
TDIP管理服务器
•
ETL知识库的管理
•
ETL服务器的管理
•
响应管理工具的请求
•
通信信息的路由
TDIP服务器
•
ETL加工处理
•
协同调度
TDIP知识库：
•
ETL元数据
•
支持知识
•
XML格式开放
ETL是税务数据集成最主要的应用，
ETL即Extraction、Transformation
and Loading，就是对操作数据库中的业务数据进行抽取、清洗、转换并将其载入数据仓库存储库的过程，其主要作用在于对各类业务数据进行清理、标准化和汇总，为基于数据仓库的决策分析应用提供符合要求、高质量的数据。
TDIP-ETL处理功能图
TDIP-ETL处理主要包括数据抽取、数据传输、数据加工三个过程。
数据抽取层主要实现数据源的批量抽取、变化抽取、适时抽取，支持数据库、非结构化数据、数据报文、文本文件、XML等多种数据源，经过数据抽取后，将各种数据来源的数据在技术层面上实现格式统一；
数据的传输层实现对于分布式的部署系统的数据传输，可以根据网络的情况选择不同的传输方式，对于网络条件比较差的情况，提供可靠性传输机制，支持数据的压缩、加密、FTP等处理；
数据的加工层实现传输后的数据的加工，主要包括数据的清洗处理、转换处理、数据的复制、数据的聚类处理、事实表加工和SQL调用等，同时还支持数据的再加工，可以为数据的前端显示等操作做预处理。
n
统一的数据应用支撑平台
n
SOA架构、统一服务接口
n
统一内部数据规范
n
统一的知识库
n
内置规则引擎、流程自动化、变量管理器
n
企业级分布加工处理协同
n
快速高效
n
支持定期批量数据抽取，变化数据抽取，实时数据抽取。
n
提供全程的数据加工推送技术，快速高效的将数据推送到前端供显示等。
n
提供并行处理，支持部署在不同机器上的数据并行加工、在同一机器上的数据并行加工。
n
灵活开放
n
支持各大主流数据库和操作系统
n
支持不同字符集的数据集成和存储
n
支持特殊格式文件的入/出
n
支持特殊转换处理
n
支持组合变量、用户开发变量
n
支持动态规则的处理
n
易于集成与被集成
n
方便易用
n
专业的数据加工任务
n
处理流程采用图形化建立
n
灵活的应用菜单交互界面生成
n
点击激活、定时激活、终止运行加工处理
n
运行状态可视化监控 |
