Print this page

Assessing Spatial Data Infrastructures

Pog 76, Lucasz Grus, Assessing Spatial Data Infrastructures

Lucasz Grus

Publications on Geodesy 76
Delft, 2010. 171 pagina's. ISBN: 978 90 6132 320 4.


Summary

Over the last two decades many countries throughout the world have taken steps to establish national Spatial Data Infrastructures (SDls). These actions have sought to provide an infrastructure for accessing and sharing spatial data to reduce the duplication of spatial data collection by both users and producers, and enable better utilization of spatial data and associated services. When developing SDI initiatives it is increasingly important to assess their outcomes in order to justify the resources spent on those infrastructures. Many researchers throughout the world have been struggling with the issue of assessing SDls. The task is difficult due to complex, dynamic and constantly evolving nature of SDI.

The main objective of this thesis is to develop a framework for assessing Spatial Data Infrastructures. This main objective is divided into four sub-objectives: 1. to analyse SDI complexity; 2. to develop a SDI assessment framework; 3. to evaluate the developed SDI assessment framework; 4. to expand the developed SDI Assessment Framework by adding an assessment view for a goal-oriented SDI assessment.
Each of these sub-objectives are analyzed in chapters 2 -5.

Chapter 2 analyses SDI complexity by determining whether SDls can be viewed as Complex Adaptive Systems (CAS). This was done by analyzing three NSDI case studies and conducting a survey among SDI experts. First, it was determined if CAS features and behaviours could be found in the three analyzed NSDls. The author searched for the following CAS features and behaviours: 1) features: components, complexity, sensitivity to initial conditions, openness, unpredictability and scale independence; 2) behaviours: adaptability, selforganization, non-linear behaviour, feedback loop mechanism. Second, a survey among SDI experts was conducted by asking them to express their strength of support regarding the presence of CAS features and behaviours in general SDI concept. The results reveal that SDls can be viewed as CAS.

Chapter 3 develops a SDI assessment framework. First, the key SDI characteristics that underlie the problems affecting SDI assessment were identified and analyzed. In order to deal with these problems the principles of assessing Complex Adaptive Systems were identified and discussed. The principles of evaluating Complex Adaptive Systems and norms of general evaluation theory were the basis for developing an assessment framework. The principles of assessing CAS, among others, require that the assessment framework is flexible, contains multiple assessment approaches and uses various methods to determine the indicators' values. The result is the Multi-view SDI assessment framework.

Chapter 4 evaluates the Multi-view SDI assessment framework. The evaluation was based on the pilot application of the framework in 21 National SDIs. The evaluation focused on the process of framework application and framework's applicability to assess SDIs. The process of framework application was evaluated against two criteria: 1) NSDI coordinator response time; 2) Completeness of data. The applicability of the framework to assess SDIs was evaluated by sending a questionnaire to 21 NSDI coordinators. The coordinators were asked for the opinion about the applicability of Multi-view SDI assessment framework application results to assess SDIs. The questionnaire was based on meta-evaluation standard criteria for conducting evaluations (Stufflebeam, 1974; The Joint Committee, 1994). The results showed that the framework could be applied to assess 21 NSDIs. The evaluation of the application process revealed that the completeness of assessment data and time needed to measure indicators depends strongly on the assessment methods used. In addition, the results showed that significant part of the measurements contained missing values. Finally it was demonstrated that the users tend to agree with the general applicability of the Multi-view SDI assessment framework to assess SDIs.

Chapter 5 expands the developed SDI Assessment Framework by adding an assessment view for a goal-oriented SDI assessment. The conceptual foundation of the developed assessment view was a goal-attainment assessment model presented by Hansen (2005). The model seeks to answer the question: to what degree has the goals been realized? The model derives the assessment criteria from goals. To develop a goal-oriented assessment view the author used the Multi-view SDI assessment framework. The developed assessment view was tested by applying it to measure the goals' realization of the Dutch SDI. In addition, the potential users of the goal-oriented assessment view evaluated it. The main result of this chapter is the view for assessing the extent to which SDIs realize their goals. The implementation of the proposed view in the Dutch SDI case demonstrates its potential application. In addition, the evaluation of the proposed view conducted among the potential users confirms its usability and generic character. It is also argued that the precision of definition of SDI goals determines how easy the correct assessment indicators can be found.

Chapter 6 discusses the results of the thesis, presents author's reflections on the main results, and suggests recommendations for the future research. In order to better assess SDIs researchers should look for theories, which could explain and help to understand SDI mechanisms and laws. The results show that viewing SDI as CAS is beneficial for better understanding of SDI assessment principles. As a result, the Multi-view SDI assessment framework is proposed. However, due to the practical reasons it is hypothesized that a fully comprehensive SDI assessment might never be achieved. The reflections on the thesis results lead to several conclusions. Firstly, viewing SDI as CAS, apart from helping to assess SDIs, has also a potential to significantly improve the conceptualization of SDI. Secondly, the proposed Multi-view SDI assessment framework demonstrates the potential value for SDI assessment users acting on all SDI organizational levels. Thirdly, the experience of developing an assessment framework for SDI may also be used in evaluation discipline to further analyze and propose solutions for assessing complex phenomena. Fourthly, the proposed framework has also potential to contribute to an emerging trend of the inter- and transdisciplinary approaches to researching and assessing SDIs. The following recommendations for the future research are made: 1) Analyze the roles that CAS features and behaviours play in SDIs; 2) Focus on developing operational SDI assessment approaches suited to specific user's needs; 3) Analyze the users and their requirements of SDI assessment; 4) Analyze the use of SDI assessment results.


Contents

  • General Introduction  13
  • Spatial Data Infrastructures as Complex Adaptive Systems  23
  • Multi-view SDI Assessment Framework  55
  • Evaluation of the Multi-view SDI Assessment Framework  77
  • An assessment view to evaluate whether Spatial Data Infrastructures meet their goals  99
  • General Discussion 123 References  132
  • Appendices  143
  • Summary  155
  • Samenvatting  159
  • Streszczenie  162
  • Curriculum Vitae  166
  • Publications list  167
  • PE&RC PhD Education Certificate  169

Samenvatting

In de afgelopen twee decennia hebben landen over de gehele wereld stappen ondernomen om een nationale Geo-informatie infrastructuur (SDI) te ontwikkelen. Het doel hiervan is om ruimtelijke gegevens toegankelijk en uitwisselbaar te maken, duplicatie van ruimtelijke gegevens door gebruikers en producenten te verminderen en de ruimtelijke gegevensverzamelingen en bijbehorende diensten beter bruikbaar te maken. Bij het ontwikkelen van SDI initiatieven wordt het steeds belangrijker hun prestaties en resultaten te beoordelen om de investeringen in deze infrastructuren te rechtvaardigen. De afgelopen jaren hebben diverse onderzoekers zich gebogen over de vraag: op welke wijze kunnen we SDI's evalueren? Het blijkt dat deze vraag lastig eenduidig te beantwoorden is als gevolg van complexe, dynamische en constant veranderende karakter van SDI.

De hoofddoelstelling van dit onderzoek is de ontwikkeling van raamwerk ter beoordeling van Geo-Informatie Infrastructuren. Om dit hoofddoelstelling te bereiken zijn de vier deeldoelstellingen geformuleerd: 1. Het analyseren van SDI complexiteit; 2. Het ontwikkelen van een SDI beoordelingsraamwerk; 3. Het evalueren van de ontwikkelde SDI beoordelingsraamwerk; 4. Het uitbreiden van de ontwikkelde SDI beoordelingsraamwerk door toevoeging van een doelgerichte SDI beoordeling methodiek.
Deze vier deeldoelstellingen worden in de hoofdstukken 2-5 verder uitgewerkt.

Hoofdstuk 2 analyseert SDI complexiteit door te onderzoeken of SDI gezien kan worden als een complex adaptief systeem (CAS).Het onderzoek werd uitgevoerd door het analyseren van drie Nationale SDI (NSDI) en het uitvoeren van een enquête onder SDI deskundigen. Eerst werd vastgesteld of CAS kenmerken en gedragingen kunnen worden gevonden in de drie geanalyseerd NSDIs. De auteur zocht naar de volgende CAS kenmerken en gedragingen: 1) kenmerken: componenten, complexiteit, gevoeligheid voor beginvoorwaarden, openheid, onvoorspelbaarheid, en schaal onafhankelijkheid; 2) gedragingen: aanpassingsvermogen, zelforganisatie, niet-lineaire gedrag, feedback loop mechanisme. Ten tweede werd een enquête onder SDI deskundigen uitgevoerd. Zij werden gevraagd naar mening over de aan- en afwezigheid van CAS kenmerken en gedragingen in het algemeen SDI-concept. De resultaten tonen aan dat SDI kan worden gezien als CAS.

In hoofdstuk 3 wordt de ontwikkeling van een SDI beoordelingraamwerk beschreven. Allereerst worden de huidige problemen met SDI beoordelingen geïdentificeerd en geanalyseerd. Voor de oplossing voor de geconstateerde problemen is gebruik gemaakt van de algemene principes voor het evalueren van complex adaptieve systemen. Deze CAS evaluatie principes gecombineerd met algemene evaluatie theorie vormden de basis voor het ontwikkelen van een SDI beoordelingsraamwerk. De CAS evaluatie principes houden in dat het beoordelingsraamwerk flexibel dient te zijn en uit meerdere beoordelingsbenaderingen dient te bestaan. Op basis van deze principes is het Multi-view beoordelingsraamwerk voor SDI's ontwikkeld.

In hoofdstuk 4 wordt het ontwikkelde Multi-view SDI beoordelingsraamwerk geëvalueerd. De evaluatie is gebaseerd op de toepassing van het raamwerk in 21 Nationale SDI's. De evaluatie richt zich op het proces van toepassing en de algemeen toepasbaarheid van het raamwerk om SDI's te beoordelen. Het toepassingsproces is geëvalueerd op basis van twee criteria: 1) NSDI coördinator reactie tijd en 2) volledigheid van de beoordelingsgegevens. De toepasbaarheid van het raamwerk is geëvalueerd door het sturen van een vragenlijst naar 21 NSDI coördinatoren. De vragenlijst is gebaseerd op metaevaluatie standaard criteria voor het uitvoeren van evaluaties (Stufflebeam, 1974; The Joint Committee, 1994). De resultaten tonen aan dat het raamwerk toegepast kan worden in 21 NSDIs. Uit de beoordeling is gebleken dat de volledigheid van de beoordelingsgegevens en de tijd die nodig is om de indicatoren te meten sterk afhankelijk is van de gebruikte evaluatiemethoden. Tenslotte bleek dat de geënquêteerde NSDI coördinatoren het Multi-view SDI beoordelingsraamwerk toepasbaar achten.

Hoofdstuk 5 beschrijft de uitbreiding van het ontwikkelde Multi-view SDI beoordelingsraamwerk door toevoeging van een doelgerichte SDI beoordelingsmethode. De conceptuele basis voor deze nieuwe methode is het "goal-attaintment model" ontwikkeld door Hansen (2005). De ontwikkelde beoordelingsmethode is bedoeld om de vraag: "in welke mate zijn de doelstellingen gerealiseerd?" te antwoorden. De beoordelingscriteria van de methode zijn afgeleid van de doelen. Voor het ontwikkelen van de doelgerichte beoordelingsmethode heeft de auteur gebruik gemaakt van onderdelen van het Multi-view SDI beoordelingsraamwerk. De ontwikkelde methode is getest door meting van de mate van doelrealisatie van de Nederlandse Geo-informatie infrastructuur (GIDEON). Bovendien hebben de potentiële gebruikers de ontwikkelde methode beoordeeld. Uit de toepassing van de ontwikkelde methode bleek dat het mogelijk is om de mate van doelrealisatie van SDI's te meten. De bruikbaarheid en het generieke karakter van de methode is ook bevestigd door de potentiële gebruikers. Uit de toepassing bleek tevens dat de mate van concreetheid van de SDI doelen sterk bepaald is voor het formuleren van de beoordelingsindicatoren.

In hoofdstuk 6 wordt gereflecteerd op de resultaten van het onderzoek en worden aanbevelingen geformuleerd voor vervolgonderzoek. De resultaten laten zien dat belangrijk is om naar een onderliggende theorie of theorieën voor SDI te streven. In dit proefschrift is bijvoorbeeld de analogie tussen SDI en CAS gebruikt om de evaluatie van SDI's beter te begrijpen. Op basis van deze analogie is het Multi-view SDI beoordelingsraamwerk ontwikkeld. Op basis van het uitgevoerde onderzoek zijn de volgende algemene conclusies te trekken. Ten eerste, is het een verrijking om SDI als een Complex Adaptief Systeem (CAS) te beschouwen. Dit leidt tot een beter begrip van het SDI fenomeen. Ten tweede, is het voorgestelde Multi-view SDI beoordelingsraamwerk generiek van aard en kan het worden toegepast bij het evalueren van uiteenlopende SDI's. Ten derde, blijkt het beoordelingsraamwerk flexibel en kan het worden uitgebreid met nieuwe beoordelingsmethoden. Het onderzoek naar de evaluatie van SDI's is met dit proefschrift zeker niet af. Als mogelijke lijnen voor vervolgonderzoek wordt voorgesteld om: 1) de CAS aspecten binnen SDI nader te bestuderen; 2) specifieke gebruikersbehoeften voor SDI evaluatie nader te analyseren en 3) het gebruik van uitgevoerde SDI evaluaties te onderzoeken.