[:fr]Qualité des données[:en]Quality of data[:]

[:fr]

La démarche Qualité des données

L’objectif premier d’ORACLE est de mettre à la disposition des scientifiques et des opérationnels l’ensemble des données de base recueillies sur la totalité de la période d’observation. Ces données exigent la mise en place d’une procédure qualité. Ce travail s’inscrit dans la politique qualité d’INRAE, mise en place sur l’ensemble de ses sites d’Observation, et s’appuie sur deux réseaux, « Mesure et Instrumentation » et « Base de données ». La démarche qualité comporte trois étapes essentielles.

1- Maintenance et métrologie des équipements d’ORACLE :

L’aspect métrologique avec l’établissement de protocoles rigoureux d’installation des appareils, la systématisation des procédures d’utilisation et la maintenance rigoureuse et régulière constitue la première étape de notre démarche qualité.

Nous avons mis en place une base de données concernant l’ensemble du parc métrologique d’ORACLE avec la mise en place d’un logiciel de maintenance d’équipement de mesure (SPLIT4®). Les données techniques de chaque appareil, leur localisation précise sur ORACLE, la date de chaque étalonnage et des événements de maintenance sont pris en compte par le logiciel. Ceci nous permet une meilleure traçabilité des équipements et de leur maintenance, une maîtrise des non-conformités et une amélioration des performances des moyens de mesure.

2- Traitement des données

L’étape du traitement des données comporte le rapatriement fréquent de la donnée, la vérification de la cohérence de la série, ainsi que la vérification de la cohérence des variables et des paramètres les uns par rapport aux autres. Cette étape est d’autant plus importante qu’elle doit permettre la validation rapide des 34 000 données mensuelles d’Oracle.

1. Le rapatriement des données

Les données pluviométriques sont télétransmises directement sur une base de données interne, de manière automatisée, au pas de temps d’une heure.

Les données limnimétriques sont rapatriées après validation sur la banque HYDRO gérée par le MEEDDAT.

L’ensemble des autres données sont rapatriées à fréquence régulière sur des bases de données internes (tous les deux mois en moyenne).

2. La validation des données

Les données ainsi rapatriées sont validées par l’Ingénieur de recherche, gestionnaire de l’Observatoire. Des routines de validation semi-automatisées ont été mises en place pour permettre une validation plus rapide, mais aussi une certaine répétabilité de la validation.

L’utilisation des outils statistiques (e.g., moyenne, quartiles…) permet :

i) d’effectuer une inter-comparaison sur l’ensemble de la série de données sur toute la période d’Observation

ii) de vérifier la cohérence de la série, des variables et des paramètres les uns par rapport aux autres.

3- Reconstitution des données :

L’objectif est de mettre en œuvre un certain nombre de dispositions au niveau de la gestion et au niveau technique pour aboutir à des résultats fiables et être en mesure de prouver cette fiabilité (notion de confiance). Ce travail s’appuie notamment sur des recommandations pour la qualité en recherche, tel que le document AFNOR, FDX50-551.

Les outils et méthodes de validation, mais également la reconstitution des données, s’appuient sur l’expérience et l’expertise du INRAE, développée depuis près de 50 ans sur la gestion des données. Dans chaque fichier validé sont étiquetées les données validées et les données reconstituées.

[:en]

Data’s quality assurance

The main objective of ORACLE is to put at the disposal of scientists and operational, data collected during the period of observation. These data require the installation of a quality procedure. This work falls under Irstea policy of quality, established on the whole of its Observation sites, and based on two networks, « Measures and Instrumentation » and « Database ». The quality approach has three essential steps.

1- Maintenance and metrology of ORACLE device:

The metrological aspect with establishment of rigorous protocols for device installation, systematization of the procedures, rigorous and regular maintenance is the first step in our quality approach.

We have set up a database of the ORACLE metrological park with the software installation of maintenance of measurement equipment(SPLIT4®). The technical data of each device, their precise localization on ORACLE, the date of each calibration and the events of maintenance are taken into account by the software. This allows us a better traceability of the equipment and its maintenance, a control of nonconformities and an improvement of the performances of measurement devices.

2- Data processing

The data processing stage includes frequent repatriation of the data, verification of the consistency of the series, as well as verification of the consistency of the variables and parameters with respect to each other. This step is all the more important as it must allow rapid validation of Oracle’s 34,000 monthly data.

1. Repatriation of data

Rainfall and Limnimetric records are automated and directly remotely transmitted on an internal database, every hour.

Limnimetric data are stored after validation on the HYDRO bank, managed by the MEEDDAT.

Other data are repatriated at regular frequency on an internal database (every two months on average).

2. Data validation

All data are validated by the research engineer, manager of the Observatory. Semi-automated routines were set up to allow a faster validation, but also a certain repeatability of the validation.

The use of statistical tools (e.g., average, quartiles…) makes it possible:

I) to carry out an inter-comparison on data set over the full period of observation

II) to check series coherence.

3- Reconstitution of data :

The objective is to bring in work a number of provisions at the managerial and technical level to lead to reliable results and to be able to prove this reliability (concept of confidence). This work is based in particular on recommendations for quality in research, such as the AFNOR document, FDX50-551.

Tools and methods of validation, but also data reconstitution, are based on the experiment and expertise of Irstea on data management, developed for nearly 50 years. In each validated file the validated data and the reconstituted data are labelled.

[:]