关于印发《第二次全国土地调查国家级数据库及管理系统建设总体方案》的通知
颁布单位: 国土资源部
关于印发《第二次全国土地调查国家级数据库及管理系统建设总体方案》的通知
国土调查办发[2009]13号
各省(自治区、直辖市)第二次土地调查领导小组办公室,国土资源厅(国土环境资源厅、国土资源局、国土资源和房屋管理局、规划和国土资源管理局):
数据库及管理系统建设是第二次全国土地调查的一项重要内容,是今后日常变更调查的基础。全国土地调查办组织人员编制了《第二次全国土地调查国家级数据库及管理系统建设总体方案》(以下简称《国家级系统建设总体方案》),现予以印发,供各地参照执行。
请各省(自治区、直辖市)按照《国务院关于开展第二次全国土地调查的通知》(国发[2006]38号)要求,结合本地区的实际情况,参照《国家级系统建设总体方案》,及时组织编制本地区土地调查数据库及管理系统建设方案,开展本地区数据库及管理系统建设工作,并做好与国家级数据库系统的充分衔接。各省(自治区、直辖市)数据库及管理系统建设方案经专家论证后,报全国土地调查办备案。
附件:《第二次全国土地调查国家级数据库及管理系统建设总体方案》
国务院第二次全国土地调查领导小组办公室
二〇〇九年三月三十日
附件:
第二次全国土地调查国家级数据库及管理系统建设总体方案.doc
第二次全国土地调查国家级数据库及管理系统建设总体方案
第二次全国土地调查(以下简称“二次调查”)国家级数据库及管理系统建设是二次调查工作的一项重要内容。为保证二次调查国家级数据库及管理系统建设工作的顺利开展,特制定本方案。
一、目标任务
(一)目标
建设二次调查国家级数据库及管理系统,实现国家对二次调查成果的集中管理,借助于国土资源主干网和金土工程及“一张图”工程的支持,保证调查成果充分应用于国土资源管理日常业务,为土地资源宏观规划和管理决策,提供快速、准确、翔实基础数据,满足国家对县级土地调查数据管理和应用的迫切需求。建成长效的数据上报和快速更新机制,保持土地调查数据库的现势性,实现国家、省、市、县四级土地调查数据库的互联互通和同步更新,满足国民经济与社会发展对国土资源基础数据的广泛需求。
(二)任务
1.建设国家级土地调查数据库。
按照统一的标准和规范,以县为单位进行成果统一汇交和整合集成,对调查成果数据进行有效的组织和存储。在平面方向, 保证各区域数据成为逻辑无缝的整体。在垂直方向,通过统一的空间坐标定位保证各类数据能够实现空间上的叠加和套合。在数据内容上,实现对土地调查的图形、属性、影像等空间数据及其他非空间数据的逻辑一体化管理。
2.数据库管理系统开发。
按照土地调查和软件开发的有关标准和程序,开展数据库管理的系统分析、系统设计、软件开发、测试运行等建设工作,开发具有数据输入输出、数据编辑、统计汇总、更新交换等功能完备的国家级土地调查数据库管理系统,满足国土资源日常应用需求。
3.长效的数据更新和上报机制建立。
开展土地调查数据上报及更新技术方法的研究,在试点示范的基础上,建立数据更新和上报的长效机制,开展国家级土地调查数据库更新,实现对变更信息的及时汇总统计,以及对数据库的及时更新维护,保证全国土地调查数据库成果的现势性。
二、原则与依据
(一)原则
1.统一标准。
依据二次调查实施方案的要求,在统一的国土资源信息化标准框架下,按照统一的数据建库及系统开发标准和规程规范,开展国家级调查成果管理系统的建设工作,确保系统能够实现与部已有系统顺利衔接,实现数据快速调用和共享。
2.突出重点。
为了更好地与部“金土工程”衔接,二次调查国家级数据库管理系统建设要突出重点,优先考虑实现对二次调查成果数据的基本管理需求,包括数据的显示、查询、汇总、统计和上报更新等。
3.分步实施。
二次调查国家级成果的数据量庞大,系统建设周期长,必须在开展周密用户调查、需求分析和系统设计的基础上,注重先进性与实用性相结合,循序渐进,分步实施。
4.合理继承。
各级国土资源管理部门经多年努力,积累了一批国土资源基础数据,建立了一批基础数据库,已初步建成了土地数据的存储平台等环境。合理继承和充分利用现有的国土资源管理和信息化建设成果和经验,可避免重复建设,提高数据库建设的速度和应用效果。
(二)依据
1.《中华人民共和国行政区划代码》,GB/T 2260。
2.《土地利用现状分类》,GB/T 21010-2007。
3.《第二次全国土地调查技术规程》,TD/T 1014-2007。
4.《城镇地籍数据库标准》,TD/T 1015-2007。
5.《土地利用数据库标准》,TD/T 1016-2007。
6.《国土资源信息核心元数据标准》,TD/T 1016。
7.《第二次全国土地调查实施方案》,全国土地调查办。
8.《二次调查成果检查验收办法》,全国土地调查办。
9.《二次调查数据库建设技术规范》,全国土地调查办。
10.《二次调查成果国家级核查技术规范》,全国土地调查办。
11.《二次调查底图生产技术规定》,全国土地调查办。
12.《二次调查基本农田调查技术规程》,全国土地调查办。
三、国家级成果数据库内容
二次调查采用全数字化作业方式,逐级建立土地调查成果空间数据库。国家级成果具有数据量大、数据类型复杂、数据格式多样、安全管理要求高等特点。数据库主要包含以下数据内容。
(一)数据内容。
国家级成果管理系统主要存储二次调查形成的全国农村土地调查数据以及相关影像等数据,同时也包括以后每年度更新的土地调查矢量数据和影像数据等更新数据。主要数据包括:
1. 矢量数据,包括:基础地理要素、土地利用要素、土地权属要素、基本农田要素、其他要素等。
2. 数字正射影像图(DOM)数据,包括1:2000、1:5000、1:10000和1:50000 DOM数据;
3. 数字高程模型(DEM)数据;
4. 元数据,是各种数据自身的描述数据,包括土地调查数据库元数据、DEM元数据、DOM元数据等,为文本数据;
5. 其他相关数据,包括:各地建库相关文档、验收报告、核查报告、数据汇总表格等。
(二)数学基础。
根据二次调查技术规程,所有成果的空间数学基础如下:
? 坐标系:采用“1980年西安坐标系”;
? 高程基准:采用“1985国家高程基准”;
? 地图投影:采用“高斯-克吕格投影”;
? 分带方式:1:5000、1:10000标准分幅数据按3°分带,1:50000标准分幅数据按6°分带;
? 分幅和编号:采用国家基本比例尺地形图的分幅和编号,具体见《国家基本比例尺地形图分幅和编号》(GB/T13989)。
(三)数据量估算。
二次调查采用高精度正射影像数据和全数字化调查作业方式,大大提高了调查数据整体精度和调查效率。但同时也大大增加了调查成果数据量。根据估算,二次调查产生的数据量初期达到150TB,备份数据量约300TB,并且数据量将会逐年递增。这些数据内容复杂,种类多样(包括矢量数据、栅格数据和属性数据),尺度不同(有县、市、省、国家多种尺度),对于数据的应用需求也从宏观到微观,复杂多变。具体数据量估算如下:
1. DOM影像数据不小于55TB;
2. DEM数据不小于10 TB;
3. 矢量数据不小于2TB,内容包含:1:2000地区、1:10000地区和1:50000等比例尺地区土地利用数据,数据格式包括国家统一要求的VCT格式和原始建库数据格式;
4. 文档及其他数据约为0.5TB;
5. 中间成果数据不小于30TB,包括底图生产过程数据影像以及说明性文档等。
(四)数据格式。
空间数据要求采用空间数据标准交换格式(VCT)。
为保证数据建库的顺利进行,还需上交原始建库格式作为备用。
四、技术路线
(一)总体技术路线。
统一数据质量标准,在各省汇交的县级成果基础上,采用国家统一开发的数据质量检查软件,组织开展数据库自检与汇总;依据国家级数据库建设方案和建库技术要求,对数据进行整合集成。以调查成果数据的管理需求为最终目标,充分利用已有软硬件和网络等基础,优先采用成熟技术,开发第二次全国土地调查国家级数据库管理系统,保证建成系统实用、安全、可靠、可扩充以及易维护。
具体技术路线图如图1所示。
图1. 二次调查国家级成果数据库及管理系统建设总体技术路线图
(二)系统总体框架
二次调查国家级成果数据库管理系统的总体结构从下到上主要分为基础存储、数据维护、数据应用/数据服务三层。
从功能上,数据库管理系统主要包含:数据检查、数据更新、数据入库、数据查询统计、数据分发服务、数据安全、数据维护、数据备份、数据汇交等功能模块。其中数据检查、数据更新、数据入库、数据安全、数据维护、数据备份属于数据维护;数据查询统计、数据分发服务功能模块属于系统应用和服务。
系统的总体结构如下图所示:
图2:二次调查国家级成果管理系统总体结构图
国家级数据库管理系统通过专门的中间件对国家级数据库进行管理与调用。中间件主要负责成果数据的存储调度,并为国家级管理系统提供相应的接口,实现对调查成果数据的调用与分析。对成果数据管理以及数据服务等功能由国家级数据库管理系统实现。
(三)系统存储环境设计
国家级数据库数据量巨大,常规的数据存储模式已经难以满足数据库建设与应用服务的要求。应采用专门的海量数据存储模式实现系统的高效运行。一方面,应有足够的存储能力存储二次调查生成的各类成果数据,尤其是在线存储容量和备份系统容量。应具备相应的磁盘共享软件,提高数据管理效率,满足数据及时服务和处理需求,满足对存储空间的合理需求;另一方面,构建分级存储机制,实现数据生命周期管理,建立经济高效可持续运行模式。增加二级存储系统,按需构建相应比例的在线、近线和离线存储空间,提高存储系统性价比,利用自动备份归档软件和海量数据分级存储管理软件,实现海量数据快速迁移。通过数据生命周期管理,满足不断增加的土地调查数据对存储管理的需求。系统存储要求具体规划为:
1、在线存储容量达150TB,其中SAN光纤阵列50TB、NAS文件存储容量100TB、近线存储容量100TB;磁带库备份空间200TB,离线磁带存储容量可任意扩充;考虑今后备份不能影响业务应用,还将利用虚拟磁带库技术进行虚拟存储。
2、通过软件和接口开发定制工具,实现完整的数据备份恢复和分级存储策略、实现快速的数据迁移、利用双机或集群技术实现系统备份、7 X 24小时不间断运行、数据处理负载均衡等功能。
3、考虑到系统的重要性和系统管理数据的涉密情况,存储网络系统建设达到国家信息系统安全等级三级标准。
(四)土地数据存储管理平台
系统建设基于目前已建成的土地数据存储管理平台。该平台依托专业存储系统硬件,面向数据存储综合管理,建设多源、多应用管理模式的海量数据存储管理平台,对调查成果数据的集中管理,实现对海量数据集中管理和数据多元化应用相结合。设计采用底层数据库管理与系统开发分离的模式,大大提高了二次调查成果数据的管理效率和应用系统运行性能、有效地减少了重复投资。
图3:土地数据存储平台技术框架图
土地数据存储平台按数据生产过程,将成果数据划分为四类:原始建库数据、整合成果数据、发布数据和元数据,并分别由资料数据库、成果数据库、应用数据库、元数据库存储管理。
土地存储数据管理系统包含了监控管理功能、权限管理功能、资料入库功能、产品定制功能等,实现了按不同用户权限对数据进行整理、入库,同时满足国家级数据库管理系统请求的及时响应。
国家级数据库管理系统采用应用接口的方式,提供数据成果对外服务:一方面通过提供平台功能来满足数据管理需要;另一方面通过提供数据应用接口,满足平台功能扩展和外部应用系统的数据应用要求。基于土地存储系统提供的接口,国家级数据库管理系统实现对海量调查数据的快速与直接调用。
(五)关键技术
1.海量数据组织与高效检索技术
(1)数据组织模式。二次调查成果涉及全国2864个县级调查单位,数据量达几十TB。将这些海量数据有效地组织起来,实现数据的高效管理和服务,又最大程度减少数据整合的工作量,是国家级数据库建设需要考虑的关键点。不同的数据组织模式以及用户应用需求将直接影响数据的访问效率,对国家级管理系统正常运行至关重要。
(2)海量数据的高效管理技术。二次调查数据库的数据内容复杂,数据量巨大,根据前期调研结果看,目前国内还没有类似的数据库建设成功经验。当前基于海量数据的管理模式均是将数据存储管理与应用需求分开,由专门的存储管理软件在专业存储设备支撑下进行海量数据的管理维护,应用系统通过专门接口实现对数据的调用。
2.空间数据库增量更新技术
按照变更工作需要,各地每年的更新数据都将汇总至国家级数据库。因此,保持增量数据的快速更新,保持更新前后数据质量的统一和一致,是保证系统长效运行的关键。国家级数据库更新的难点在于数据更新面广,汇交数据格式不统一,数据质量有差别。因此,在现有成熟的空间数据增量更新技术的基础上,应针对二次调查国家级成果数据新特点进行专门研究,定制专门的空间数据更新方法与模式。
3.数据生命周期管理
数据生命周期管理是一种保证数据发挥长效作用的管理模式。海量土地调查数据的有效,尤其是长期管理离不开数据生命周期管理。数据生命周期管理可以有效降低存储管理成本、提高成果管理系统的管理效率。二次调查数据内容复杂,数据存储压力巨大。因此,必须对数据成果进行科学分类,有效组织,制定数据生命周期管理策略。
五、管理系统建设需求分析
(一)系统定位与意义
国家级成果数据库及管理系统建设是整个二次调查成果的集中体现,对于二次调查本身和后续的土地变更调查制度建设均有着重要的意义。二次调查中各地建设完成的数据库将集中汇交进入国家级土地调查数据库系统中进行统一管理,并与年度变更调查工作充分衔接,实现对数据库成果数据的年度更新。
国家级数据库管理系统,包含覆盖全国每块土地的利用现状数据和影像数据,为国土资源管理提供全面翔实的基础数据支持。通过该系统,国家可详细掌握全国每一地块的土地利用以及变化情况,满足全国土地调查数据建库与日常管理的要求,实现全国土地调查数据成果汇总分析的应用,满足全国土地调查数据发布服务以及全国土地调查数据年度变更与数据检查核查的需求。
建设国家级成果数据库与管理系统,将有助于建立和完善全国土地调查数据的长效应用与更新制度,对推动土地调查数据的全面充分应用,为国土资源管理参与宏观调控和服务国民经济建设,提供持续的土地基础数据支持等有着重要的意义。
1.国家级数据库管理系统与县市级数据库管理系统的关系。
国家级系统管理的对象是二次调查形成的所有调查成果数据。其建设目的是为了实现对全国各县级调查数据库的整合与集中管理。因此,各地上交的数据格式均要满足国家级数据库的入库要求。即各地上交的数据均需经过县市级自检、省级质量检查和国家级核查,并且经过各级的接边处理,实现了数据质量和内容的统一与一致;通过了国家级数据库入库前质量检查,确保进入国家数据库的数据无错误。国家级数据库的数据应与地方数据库保持一致,保证国家级数据库数据内容的权威性。
2.国家级数据库与国土资源部其他系统的关系。
国家级数据库是“一张图”系统以及国土资源监管平台的基础,系统建成后,将实现对土地的批、供、用、补、查的全面监督和管理。国家级数据库管理系统主要负责对二次调查数据的管理及更新维护,并向金土工程汇交全国土地调查数据。金土工程负责建立二次调查数据的应用服务系统,实现二次调查成果数据在部内的充分应用。
(二)系统建设总体需求
系统建成后,将实现对国家基础土地数据的全面、真实、持续的掌握,为国土资源管理参与宏观调控和服务国民经济与社会发展提供数据保障,为国土资源相关重点工程提供基础支撑。从整体上分析,系统主要应满足以下需求:
1.海量空间数据的快速组织管理
根据初期估算,国家级成果数据库数据量将在数十TB以上,而且后期每年的变更维护数据量也会有TB级增长。整个数据库数据内容复杂,数据量大、应用多样化。因此,系统不仅应支持多元化数据的能力,还应支持海量数据的快速查询、检索、统计分析等服务,尤其要支持TB级空间数据的快速浏览与查询。系统应能够具备快速响应各用户端的数据服务请求,尤其是在多用户大数据量并发的情况下能够快速提供数据服务的能力。
2.快速、稳定的数据入库、更新与维护机制
国家级成果数据库主要是对二次调查成果进行集中管理,同时还应保存对以后每年土地变更调查数据的入库以及维护。这也是保证系统长效运行的关键。数据库质量是维持数据库长效运行的重要因素,入库数据必须保证其通过省级质量检查与国家级核查,通过国家统一下发的数据库质量检查软件的检查,没有数据错误。因此,系统必须保证在质量检查规则上与质量检查软件保持一致,保证入库无错误。
系统应按照土地调查数据更新制度的要求,实现每年各地更新数据的快速入库,并保证数据质量的统一。系统应提供完善的更新数据入库的流程,支持海量数据下的增量更新管理。
3.强大的数据查询统计分析能力
国家级成果管理系统不仅要满足国家级管理的要求,而且承担着为国土资源管理各类业务提供基础数据的任务。因此,数据库的查询、统计、分析等功能应满足不同的业务应用需求。系统应按照二次调查和国家更新调查的要求,输出符合规程规范要求的各类汇总表格和图件;系统应具有数据分析功能,对每年的土地利用结构和土地利用变化情况进行分析,为国土资源管理提供决策支持;系统可以为相关用户提供到全国每一块土地的位置、属性、变更等信息快速浏览与查询的服务;系统还应支持各类统计图表、专题图件的制作与生成。
4.全方位数据安全保障以及快速数据分发与服务
作为国家级成果数据管理系统,数据安全保障至关重要。系统应提供完善的数据安全保障机制,具有强大的海量数据备份与恢复的能力。针对系统服务的不同部门,应有严格的用户权限管理机制,确保数据能够在合理范围内使用;国家级成果管理系统还应具有提供快速数据分发与数据服务的能力,针对不同用户的不同数据请求,系统应能够及时响应,同时分发相应的数据。系统定位为国家级涉密系统,为了保证数据的安全,也应支持数据的离线分发模式。
5.多形式多尺度的动态成果展现模式
在实现全国调查成果的应用分析的同时,系统还应支持不同尺度的成果浏览模式,支持不同尺度浏览时要素的自动筛选加载;支持矢量、栅格数据的空间叠加显示;实现数据产品的加工制作等。通过多种成果展现模式,满足二次调查国家级成果数据浏览需求。
上述需求只是针对系统的初步分析,二次调查国家级成果管理系统的详细需求应在总体需求为基础进一步展开。
(三)国家级成果数据库建设需求
1.国家级成果数据情况说明
国家级成果数据库内容主要是各县汇交的二次调查土地利用数据库、二次调查生产的底图产品、DEM及其他类型的数据。数据类型主要包括空间矢量数据、栅格数据以及文本数据。国家级数据库中各县级成果矢量数据以县级行政单元进行统一组织存储,影像数据按照标准分幅进行组织存储。空间数据库采用高斯投影,西安80坐标系、各县区采用自身的中间经线。
2.针对于微观/宏观需求的数据存储策略
(1)微观(县市级)应用需求及存储策略
要求满足市县范围内空间矢量/栅格数据的浏览、叠加分析、属性查询、空间查询、统计分析、空间面积量算、距离精确量算等需求。
针对于该类需求,在数据存储策略上,县级范围内应用可直接调用县级成果数据,市级范围内应用也通过调用县级成果数据实现,其中空间数据浏览通过管理系统的动态投影来实现。
(2)宏观(省、国家级)应用需求及存储策略
要求满足国家和省级范围内空间矢量/栅格数据浏览、叠加分析、属性查询、空间查询、统计分析、空间面积量算等需求。该类需求在形式上需求与微观需求相一致,但由于涉及数据量巨大,按照直接调用县级成果的数据组织模式,将严重影响系统运行速度。因此,需要采取不同的数据存储策略来支持。结合成果数据库的数据逻辑特征(不同层级之间数据为汇总、整合的关系),采用建立不同层级快速索引机制的模式进行数据存储组织。该机制设计为:
通过建立中间辅助成果库的形式,应对国家、省级范围内对海量数据调用的需求。首先,建立省级、国家级的中间统计成果数据,与县级数据必须保持动态一致;其次,建立分级快速索引机制,应对不同范围内空间数据、影像数据的浏览查询分析,即在不同尺度上显示相应尺度的图件或影像,当调整至其它尺度时,自动切换至相应尺度的图件或视图。该索引机制设计为:
? 全国范围浏览——调用国家级数据
? 全国范围统计——调用国家级数据
? 全国范围空间运算——调用相应索引和相应县级数据库
? 省级范围浏览——调用省级数据
? 省级范围统计——调用省级数据
? 省级范围空间运算——调用相应索引和相应县级数据库
? 市级范围操作——直接调用县级数据库
? 县级范围操作——直接调用县级数据库
? 跨省、跨市、跨县区域范围——根据尺度调用相应索引库,并按照范围分别调用相关数据。
第三,为更好地实现上述的索引机制,还应建立部分中间辅助成果,提升在调取全国大范围数据时系统的浏览与查询速度。中间辅助成果应包含国家、省的汇总统计数据以及相应比例尺的缩编图件,以及镶嵌好的大范围遥感影像数据等。辅助成果需要预先设置数据读取规则,或事先进行数据整合镶嵌等预处理。
(3)其他专项数据存储策略
对于全国部分城市年度监测数据等专项数据,考虑到数据类型与覆盖范围均不相同,可采取单独入库存储的办法。
3.不同尺度数据要求
对应于不同层级快速索引机制,国家级成果数据库在不同空间尺度上对数据的要求也不同。具体如下:
? 国家级:比例尺在1:100万——1:400万之间,经纬度投影,Albers投影或Lambert投影;
? 省级:比例尺在1:50万——1:100万之间,经纬度投影,Albers投影;
? 市级:比例尺在1:10万——1:25万之间,高斯投影;
? 县级:比例尺为1:1万左右,高斯投影。
4.数据入库与存储方式
二次调查国家级数据入库采用Oracle + ArcGIS平台软件,与“金土工程”保持一致,以确保二次调查数据库成果在“金土工程”中得到充分应用。
(1)空间数据入库与存储方式
国家级成果数据库空间数据采取Oracle + ArcGIS的方式存储。
(2)影像数据入库与存储方式
影像数据也以数据库的方式存储于Oracle中,视具体用户要求,确定是否采用无损压缩的方式存储。按照数据存储环境要求,影像数据采取分级存储方式,常用数据存储于在线Oracle数据库,随着数据的不断更新,为了保证数据服务的快捷有效,较早的在线影像数据将从Oracle数据库中逐步转入后台NAS存储网络,以文件的方式存储。当用户访问较早影像时,只需将这些数据上载至在线数据库。因此,要求影像数据库管理应具备较为快速的数据入库方式,保证数据的及时上载、响应与服务。
(四)系统部署方式要求
国家级数据库及管理系统的保密性较强,系统数据存储和应用涉及数据存储网、内部工作网和互联网三个。数据应存储在涉密网,与其它网络物理隔离,工作网与互联网逻辑隔离。系统的数据分析与应用、数据维护等功能运行于数据存储网。系统数据交换通过数据交换区后使用人工隔离交换到内部工作网(以后条件许可时可使用国土资源部主干网),实现了与数据存储网的物理隔离;一些非涉密公众信息的服务可通过内部工作网络进一步连接到互联网。
针对于系统的内部运行环境与外部运行环境特点,国家级土地调查数据库管理系统采用B/S与C/S相结合的模式,对外采用B/S结构,主要满足对外信息服务等需求;对内采用C/S模式,主要满足系统数据检查、更新、维护等需求及相关内部用户的具体需求。
图4:二次调查国家级成果数据库管理系统总体部署框架
(五)用户分析
1.用户范围
系统定位于国家级成果应用系统,主要用户分为如下几类:
(1)数据分析/研究人员:本类用户经过授权,可从事相关土地利用战略研究分析。主要应用需求是查看浏览系统的数据汇总结果、空间数据以及属性数据,以作为分析研究的基础数据来源。
(2)数据处理人员:本类用户从事数据入库前数据统一转换、检查、处理、数据更新工作。其应用需求是系统的数据检查、数据编辑、数据处理、数据入库功能。
(3)系统管理人员:本类用户主要从事系统管理工作,负责用户权限的分配,系统数据的备份及维护等工作。
(4)社会公众:本类用户主要通过相关网站浏览系统的相关可公开的数据分析内容。
2.用户数量
本系统内部存储网络固定用户应在100人左右,最大并发数量应在80个左右。外部网络固定用户人数不限。
(六)系统建设性能指标要求
国家级数据库管理系统管理的数据量巨大,面对的应用需求复杂。系统应满足运行快速高效、数据稳定安全、支持海量空间数据网络化管理等要求。在总体性能方面,具体要求如下:
1.支持海量空间数据的快速分发、管理以及传输,同时支持分县、分省存储;支持跨存储单元的数据浏览(动态投影);支持数据查询和统计分析;支持空间数据的快速浏览查询等。
2.支持通过国土资源专线网络和网络物理数据隔离方式传输;
3.与金土工程平台保持一致;
4.组件化系统开发模式,支持各个功能模块的扩展、抽取以及第三方组件的嵌入;
5.安全管理与备份机制高效严格,保证数据的安全以及用户权限的明确划分;
6.严格遵守二次调查相关标准与规定,支持规范的图件成果、表格成果等的制作与输出;?
7.支持高效的数据更新模式,实现系统的持续更新。
国土资源部
8.系统开发应严格按照国家软件开发相关规范要求,系统性能符合相关国家标准。
具体性能指标方面,至少应满足如下要求:
1.支持最大并发访问数:80。
2.查询响应速度:在最大并发访问情况下,查询小于5秒。
3.矢量数据浏览速度:在最大并发访问量的情况下,客户端浏览县级以上土地调查空间数据速度应在10秒以内。
4.栅格数据浏览速度:在最大并发访问量的情况下,客户端浏览加载任何尺度的影像数据,单屏刷新速度不超过3秒。
5.系统稳定性:应满足24小时*365天不间断稳定运行要求。
6.数据分发响应:小于100人的数据分发响应速度小于5秒。
六、系统总体功能要求
为实现土地调查数据库建库、管理、维护、更新、分发以及交换等核心应用,系统主要功能需求包括如下几个方面:
(一)数据检查
数据检查主要实现对不同粒度土地调查成果数据的自动质量检查与评价。国家级成果数据库的数据以及后续更新的数据均需在入库前进行质量检查,并在检查规则上必须与二次调查下发的数据库质量检查软件完全一致。基于以上考虑,下述的检查功能需求仅为初步分析结果,在检查规则和部分检查内容上应与数据库质量检查软件提供功能进一步协调一致。数据检查以交互式和批量进行,支持多用户并行检查;基于检查的内容和结果,形成内容清晰、易于错误定位、提供一定错误修正指导的检查报告和部分统计评价结果。
1.整体性检查
根据《二次调查成果检查验收办法》、《二次调查技术规程》和《二次调查数据汇交办法》、《土地利用数据库标准》等相关规定,检查汇交数据的目录组织结构、文件命名、数据分层是否正确或是否符合汇交要求;数据成果是否通过了自检、检查验收和国家级成果核查,是否具备第二次土地调查成果预检报告、第二次土地调查成果验收意见、第二次土地调查成果核查确认意见等相关要件;数据现势性是否符合要求,数据源时点和数据完成时点是否符合要求。
2.数据完整性检查
支持检查不同粒度数据的地理覆盖范围是否完整、无遗漏;表格数据是否无遗漏和无多余;元数据是否无遗漏和无多余。检查必填数据项不能是否为空值;文本数据是否符合相关要求,如工作方案、技术方案、工作报告及相关说明文件等是否无遗漏。
3.逻辑一致性检查
检查空间数据要素分层(如要素层名称和几何特征)、属性(表格)、元数据的数据结构(如表名、字段长度、字段类型和约束条件等)是否与《土地利用数据库标准》保持一致;检查数据分层之间的逻辑关系是否正确,如所有的土地调查数据不应超出行政区等;检查数据项的值是否符合值域范围的要求,值间的关系符合规定的逻辑关系,如按照地类和行政区划进行统计的面积结果应一致等;检查是否按要求建立拓扑关系,建立的拓扑关系是否正确,如多边形封闭、不存在多余标识点、悬挂节点、坐标点重叠、线和弧段自相交等现象。
4.空间定位准确度检查
检查不同比例尺空间数据坐标系是否符合相关要求;投影方式的选择及参数的设置是否正确。检查相邻分幅的同一数据层实体的接边精度是否符合要求,行政界线接边要以民政勘界成果为基础,要求边界不重不漏,低精度数据应服从高精度数据。系统还应支持对各级接边质量进行检查,保证各级接边质量。
5.属性数据准确性检查
检查数据值及其单位的正确性,如地类图斑面积扣除的正确性;检查土地调查分类面积汇总表等统计汇总表数据是否正确;检查调查成果和汇总成果的数值单位是否符合要求。
6.数据检查自定义
系统应支持用户选择检查数据对象;可针对不同检查对象选择不同检查项;支持用户对检查规则进行自定义;用户可自定义数据检查结果的缺陷分级。
7.检查结果评价与处理
系统应支持对检查错误的详细记录,用户可以根据错误记录定位到错误处,并支持用户对错误进行批量处理;实现打分规则、评价模型、评价表格、评价报告模板等的自定义和设置;实现评价结果与评价报告的输出。
(二)数据转换与导入
系统应支持分批或一次性将各省上报不同格式的数据转换为国家级土地调查数据库统一格式,并生成数据转换报告。同时系统应支持外部各类数据的导入,包括外部影像数据和矢量数据的导入。
1.格式转换
实现二次调查规定的数据汇交格式与本系统数据格式的快速无损转换;实现VCT、 ARCGIS系列数据格式之间的转换。
2.坐标转换与投影变换
支持西安80与WGS84等坐标系之间的相互转换;支持投影参数设置,可实现矢量数据和栅格数据的投影变换;支持空间数据的动态投影;支持坐标去带号、增加带号、整体平移、仿射变换、线形变换、多项式变换。
3.数据导入
系统支持将通过质量检查的矢量或栅格数据通过手动、自动批量等方式导入数据库,没有通过质量检查的,不能入库;系统可以在数据入库的同时实现元数据的入库及元数据信息的追加,建立数据和元数据之间的关联;系统可以针对数据入库情况,自动生成数据入库报告,供用户参考。
(三)数据编辑与处理
按照用户权限,为用户提供各类数据编辑与处理工具,辅助用户进行数据处理以及相关数据检查后数据错误的修改编辑。主要包括:
1.数据错误的自动修改
支持数据错误的自动批量处理,针对数据质量检查记录,实现批量自动改正数据错误,并生成错误修改报告。
2.矢量数据编辑处理
支持空间数据的编辑处理,可实现对点、线、面等空间对象的增、删、改编辑功能,支持相邻图幅的自动接边和手动接边;可进行矢量数据的拓扑生成,对拓扑错误进行修改,支持对矢量数据的导出和删除;对矢量数据的编辑可实现基于规则的批量处理。
3.栅格数据处理
支持栅格数据处理功能,如支持RGB影像合成、灰度图像转换、多图层影像合成;支持输入控制点纠正、基于图像纠正、基于矢量纠正等影像纠正方式;支持空间数据投影定义、不同参考系统变换、不同投影之间变换;具有建立金字塔索引、影像对比度调整等常用图像处理功能;能够进行图像的裁减(空间坐标定义、图形、图像、AOI方式)、镜像、旋转、自动拼接、空间分辨率调整等常用图像处理功能。
4.属性数据编辑
支持属性字段增加、删除;可实现数据记录删除、追加与修改;实现对属性数据的导出;支持基于规则的属性数据编辑批量处理。
(四)数据浏览
系统支持海量空间数据的快速浏览,支持常见的遥感影像数据格式直接读取及浏览,可通过定制开发和扩展支持更多数据格式空间数据的读写及浏览。系统还应支持全国范围内遥感影像以及空间数据的无缝浏览。
1.数据视图管理
系统必须支持不同层级的快速检索机制,自动按照浏览的级别确定显示相应的内容;实现对海量空间数据的快速无缝浏览;支持空间数据的动态投影;支持鹰眼图功能;支持基本的放大、缩小、平移、全图;支持比例尺控制;书签管理,包括创建书签、删除书签、定位书签等功能;支持对影像数据的无缝快速浏览。
2.数据图层管理
可添加或移除图层,可改变图层显示顺序;选择图层是否显示,定义图层显示的比例尺范围;支持图层的标注字段选择和动态标注;支持图层的符号选择和应用。
3.实现数据的三维表现
可实现DEM数据、影像数据、土地利用矢量数据等数据的叠加三维表现和浏览。
(五)数据查询统计与分析
1.数据查询
数据查询统计是本系统的重要组成部分,要求系统支持多种查询方式,包括通过点查询、行政区、拉框查询、缓冲区查询、多边形查询等多种空间查询方式,通过任意属性字段查询,组合查询等实现对多粒度、跨存储单元数据的查询和图斑历史变更情况追溯查询;支持用户进行特殊查询条件自定义;支持对查询结果多方式保存和输出。
2.数据统计
根据调查相关要求,动态生成土地调查分类面积汇总表(含土地利用现状一级分类面积汇总表、土地利用现状二级分类面积汇总表、土地利用现状一级分类面积按权属性质汇总表)、农村土地调查分类面积汇总表(含农村土地利用现状一级分类面积汇总表、农村土地利用现状二级分类面积汇总表、农村土地利用现状一级分类面积按权属性质汇总表)、耕地坡度分级面积汇总表、基本农田情况统计表、土地利用现状变更平衡表、一览表等;支持向导式数据统计汇总;可以自定义和保存统计规则,通过选择统计规则和统计对象可实现数据的统计汇总;可实现对多粒度、跨存储单元数据的统计;统计汇总结果可表示成多种类型的图和表,并且可以输出成WORD、PDF、EXECL、JPEG等多种格式。
3.数据分析
系统可以根据定制的数据分析规则,选择数据分析对象,可实现对多粒度、跨存储单元数据的分析,如土地利用结构分析、年度变化分析等;支持对数据分析规则的定制;支持缓冲区分析、叠置分析等GIS通用空间分析功能;可以根据数据分析成果生成成果报告,并可以WORD、XLS、PDF等形式输出。
(六)元数据管理
支持元数据的入库;维护元数据与数据的关联;可对元数据进行浏览;可对元数据进行查询和统计汇总;在数据经历重要处理时追加或更新相关元数据信息;可实现元数据的输出与打印。
(七)数据更新
1.数据更新
系统可实现对空间数据、元数据、表格数据与其他数据的更新;支持多种粒度的数据更新,可以根据土地调查工作开展的需要,进行调查数据的库整体更新、部分替换式更新、增量更新;在更新时,可实现对更新数据的校验,更新可批量自动完成;可自动生成数据更新报告;可以对数据更新历史进行浏览与查询统计。
2.历史数据管理与回溯
已经更新的土地利用数据自动进行标记并进入历史数据管理;可在指定时间点和选择数据范围基础上,实现基于要素级的土地利用历史数据回溯,查看土地利用数据的变化历史。
(八)制图与输出
1.符号库管理
按照二次土地调查的要求,提供标准的图式图例符号模板,同时提供符号库编辑器,支持定制通用符号和针对不同数据、不同比例尺的符号并形成自定义符号库;提供符号库管理功能,根据实际需要,用户可新建符号,也可更新或删除符号库中已有的符号。在更新符号时,用户可对符号的类型、类别、尺寸、样式、色彩、图案等属性信息进行修改。
2.制图模板管理
系统提供二次调查要求的全套标准制图模板,包括图名、接图表、内外图廓、经纬网、四角坐标、比例尺、指北针、图例、制作单位等信息;用户可以对模板进行修改并进行模板的保存。
3.专题图制作
可以选择和应用制图模板并进行相应修改和调整,根据二次调查相关技术要求制作土地利用现状图、基本农田专题图、耕地坡度分级专题图和影像图等;也可以选择数据源制作专题图;可制作标准分幅图、行政区分幅图、矩形或任意范围专题图。
4.成果输出
系统提供丰富的图表模板供数据查询、统计、分析时应用。可以导入外部的图表模板,也可以对图表模板进行定义和保存。
系统文本结果、查询统计结果和制图结果,可以保存为WORD、PDF、EXCEL、JPEG等格式保存,也可直接打印输出。
(九)数据交换
支持分批或一次性将各省上报的不同格式的数据转换为国家级土地调查数据库统一格式,并生成数据转换报告;对于坐标系不符合二次调查规定的80坐标系的,支持将其数据转为80坐标;可通过定制开发和扩展支持多格式空间数据的读写及浏览。
1.数据交换配置
配置数据交换参数,主要包括交换节点的名称、位置、交换方式、加密方式、出错处理等。
2.数据交换
根据要求进行交换数据的导入、导出;支持对数据的存储格式与交换格式的转换,支持对交换数据的加密和压缩;根据情况生成、提交或接收交换数据。
3.交换监控与管理
监视数据交换任务,可查看数据交换的数据内容、数据量、任务量、交换进程等交换执行情况;辅助人工处理数据交换障碍和错误;可对数据交换任务进行暂停、恢复、停止等调度;利用日志记录数据交换任务、查询统计数据交换任务、验证和校准交换数据内容的一致性等。
(十)数据分发
数据成果分发是国家级数据库管理系统的基本功能,主要包括身份注册、查询、检索、浏览、申请、审核、下载(或离线分发)、用户访问等功能。
存储网用户通过相应的授权管理和业务流程设计可以在客户端获得国家级土地调查数据库管理系统成果数据。系统支持将成果中的元数据和部分非涉密数据成果通过数据复制等技术迁移到工作网和外网网站数据交换服务器,通过对外数据服务平台实现元数据等信息服务。主要管理流程包括:用户注册、登录、元数据查询、数据申请、申请审核、审核结果通知、通知离线分发等。
存储网、工作网和外网网站系统需要利用日志记录用户、访问量、以及数据分发和数据服务的内容、对象、时间、数据量等,可以对数据服务情况进行查询、浏览、统计汇总和输出。
(十一)数据汇交服务
系统应支持将系统内通过数据交换的方式将数据汇交至金土工程和“一张图”系统。
系统数据汇交方法为:通过数据交换服务区,实现数据汇交。交换的数据内容包括国家级数据库内所有成果,交换的数据内容和数据格式可定制。系统可供交换的数据包括:
? 土地利用矢量数据,包括:基础地理要素、土地利用要素、土地权属要素、基本农田要素、其他要素等二次调查要求的各个图层,为矢量数据。
? DOM数据,包括1:2000、1:5000、1:10000和1:50000 DOM数据,为栅格数据;
? DEM数据;
? 元数据,是各种数据自身的描述数据,包括土地调查数据库元数据、DEM元数据、DOM元数据等,为文本数据;
? 其他相关数据,包括:各地建库相关文档、验收报告、核查报告、数据汇总表格等。
系统支持汇交的数据格式为:矢量数据支持ArcGIS系列数据格式,VCT数据格式。
系统数据汇交模式为:采用网络物理隔离的方式汇交数据,如网络可以满足数据安全要求,可以通过网络报送。
(十二)系统安全管理
1.用户与权限管理
国家级成果管理系统采用严格的用户身份管理和权限分级管理机制。存储网用户限于部署有光纤端口的业务部门和院领导办公室,国家成果管理系统主体部署在SAN存储网,故其用户局限于有存储网端口用户。
国家成果管理系统需要通过用户、角色和密码管理进行身份管理,将用户身份、数据操作内容和操作功能进行绑定控制,确保数据安全。系统用户表由系统管理员在系统初始化时设定,并采用实名制、只允许在人员变动时有系统管理员进行用户表的调整。
对数据和数据库的操作权限如读、写、下载等进行严格划分,并管理员针对特定用户角色和数据内容进行派发。系统管理权限采用分级管理机制,即,一般用户权限由上级用户确定。
外网用户无特定限制,实行实名登记,用户注册后、需经过身份审核才能变成合法用户、然后获取密码,进行查询检索、数据申请。在线公开数据和元数据申请后即可下载,离线数据需通过审核通过后才能获得。
2.数据备份
管理系统应制定完备的数据库和数据备份策略,可以实现数据库的自动备份与恢复。备份需要考虑不同数据类型的数据量、不同的数据更新特征、不同数据的存储要求选择不同的备份方式和备份频率。数据备份方式应该包括整体备份、增量备份等。数据备份频率应该为年度、不定期等。如基础地理数据在一定时期内基本不存在更新问题,因此在系统数据备份策略中可以不考虑基础地理数据的更新;而对年度更新的土地利用数据,考虑到全国的数据量比较大,但是每年更新数据较小的特点,应该考虑对增量部分进行年度备份。对文档数据等不采用数据库进行管理的数据,因此需要进行定期的拷贝备份。用户也可以选择数据对象和备份方式进行数据的手动备份和恢复。
3.系统监控
数据库管理系统需有独立的系统监控模块,支持对系统和数据库状态的监控,可以:根据系统和数据库状态进行系统资源调配、数据库优化等操作;对用户的连接与状态、用户对数据访问和数据操作等进行监控,能够设置和调整系统报警规则和相应处理响应,发现恶意操作或非正常操作等问题时可采取中止连接、中止操作等措施;对外部组件注册情况和工具用户使用情况进行监控。内部网站和外部网站系统需要监控用户登录、数据下载等情况。
(十三)系统管理与维护
1.数据字典管理
管理系统需要对元数据标准、土地利用分类标准、系统初始用户、部门名称、操作权限类型、各类数据库标准、数据密级、各级行政代码、开发区类型、专题分类目录等需要统一规范的对象,通过数据字典进行统一管理。管理员利用系统提供对数据字典的添加、保存、输出、修改功能。维护管理一个数据字典内的字典项,增加、删除、修改字典项内容。系统需提供数据字典的版本管理。
2.系统设置
可针对不同用户或数据类型分配不同的物理存储空间,配置物理数据库的位置,配置数据库连接参数,数据库配置参数、网络连接参数、设置外部组件注册目录等。
3.系统其他管理与维护
主要包括创建数据库索引表、编辑索引、删除索引等。
4.数据迁移和归档管理
系统需要根据数据使用状况和数据量,制定数据的迁移和归档管理策略,建立高效数据管理机制,提高系统整体运行效率。
5.日志管理
日志管理详细记录系统运行状态。对于重要的操作,如数据的入库操作、数据的输出操作、数据的编辑处理等,均需要记录在日志中,具体功能包括日志的查询、归档、清除、恢复归档文件等。
? 可以根据用户名、操作类型、操作时间进行日志信息查询;
? 可以对用户访问情况、数据访问情况、数据交换情况、数据更新情况、数据编辑处理情况等进行日志检索和统计汇总;
? 支持对日志的删除和归档等管理维护。
八、主要成果
(一)数据成果
二次调查将取得数据成果,根据不同的内容和应用需求分别存放在数据存储系统中,采用大型关系型数据库进行管理,数据容量预计在150TB以上。数据还将备份存储于国土资源部信息中心。数据成果主要包括以下两类。
1.经过整合的2864个县级土地调查原始数据成果,包括内部格式数据和VCT交换格式数据。
2.第二次土地调查国家级数据库,以统一的格式和标准,进行有效组织的,集成化的包括图形、影像和属性为一体的应用数据库。
(二)软件成果
1.国家级数据库管理系统:包括二次调查国家级数据库管理系统源代码和安装程序。系统主要由数据入库子系统、数据管理子系统、数据更新子系统、数据备份子系统以及数据应用子系统等构成。
2.系统软环境:主要包括由操作系统软件、数据库软件、存储平台软件和GIS平台软件等组成的综合系统软环境。
3.数据上报更新软件等辅助应用软件成果。
(三)硬件成果
硬件成果主要包括与软件系统共同支持和维护系统运行的硬件组成环境。包括服务器、数据存储设备、网络通讯设备、网路安全设备和输入输出设备等。
(四)文档成果
主要包括数据库建设文档、管理系统开发文档及其他文档。
1.数据库建设文档:
(1)《第二次土地调查国家级数据库建设技术报告》
(2)《第二次土地调查国家级数据库建设工作报告》
(3)《第二次土地调查国家级数据库入库数据质量检查报告》
(4)《第二次土地调查国家级数据库成果测试报告》
2.管理系统开发文档:
(1)《第二次土地调查国家级数据库管理系统需求分析》
(2)《第二次土地调查国家级数据库管理软件系统总体设计》
(3)《第二次土地调查国家级数据库管理软件系统详细设计》
(4)《第二次土地调查国家级数据库管理系统用户手册》
3.其他文档:
(1)《第二次土地调查国家级数据库成果分析报告》
(2)《第二次土地调查数据上报及更新报告》
(3)《第二次土地调查数据上报及更新组织实施建议》
九、组织实施
(一)实施计划
1.实施阶段划分。
国家级数据库及管理系统建设周期为两年,分5个建设阶段。
(1)准备和设计阶段。
进行项目总体规划,编制总体方案和有关技术要求,准备和开展各部分任务的招投标工作,包括:软硬件采购招标、系统开发招标和数据库建设承担队伍招标,其中系统开发招标进行原型测试。
(2)需求分析和详细设计阶段。
全国土地调查办与项目承担单位共同组织有关专家和设计单位进行用户需求分析,并进行数据库结构设计和系统功能详细设计,提交论证和确认后实施。
(3)数据库及管理系统建设阶段。
由中标方和项目工作组共同完成数据库及系统建设任务。数据库建设承担队伍根据设计方案分批开展数据整合入库工作;系统建设单位进行程序开发和功能实现;委托研究机构进行数据同步更新等关键技术研究;根据系统建设总体规划进行软硬件设备采购,并组织系统建设单位,搭建系统运行环境。
(4)系统集成阶段。
由系统建设单位按计划完成硬件系统、数据库、应用软件系统和安全系统的部署、集成、安装和调试工作。
(5)系统测试和验收。
按照测试计划,在单元测试基础上,由监理单位、系统建设单位和项目工作组,通过在实际运行环境中的实际运行,全面考验数据库及系统建设是否达到设计目标。经评估,完成最终验收。
2.进度计划
国家级数据库及系统建设进度计划表
项目任务 2007年下半年 2008年上半年 2008年下半年 2009年上半年 2009年下半年
项目总体规划,编制总体方案和有关技术要求
项目开发和集成单位招标
需求分析和详细设计
关键技术研究
国家级数据库建设
系统程序开发及功能实现
软硬件设备采购与系统运行环境建设
数据上报及更新试点
系统集成
系统运行测试及验收
(二)管理制度
1.决策制度
制订详细的决策制度来保证项目实施过程中项目组讨论做出的决定能及时请示汇报相关单位并形成纪要存档。各个环节的重要决策要有书面文件汇报。
2.交流制度
项目组内部要充分交流,交换意见。项目组与需求方之间也要定期或不定期地充分交流,交换意见。项目组要定期或不定期地汇报进展,听取有关领导的指导意见。交流过程中遇到问题要及时澄清,并及时制定办法。
3.问题与争议管理办法
项目实施过程中遇到问题要及早报告,报告方式可以是口头汇报或以书面形式汇报,视问题的严重情况而定。需要制定详细的问题与争议管理办法,以便在实施过程中遇到争议问题时及时向相关单位汇报,请示解决办法。
4.计划管理
在项目实施工作开始之前要提交项目实施总体计划。各个阶段要有阶段计划。项目总体计划包括进度计划、沟通计划、文档计划、测试计划、上线计划和培训计划等。
5.质量检查制度
国家级数据库的质量是本项目组织实施确保的重要目标,对这么大数据量的数据整合集成,必须强化控制措施的力度,制订可行的检查制度;结合“三检一验”办法,落实全员、全过程的质量跟踪。
6.资料与档案管理制度
土地调查成果数据库和正射影像数据等是重要基础数据,数据成果的使用必须遵守国家有关的法律和法规。各承担单位应高度负责,精心保管调查成果和资料,并妥善使用有关资料,不得造成资料的损坏和遗失,派专人负责办理交接手续,不得擅自转借第三者或用于其他用途。