La collecte et l'import des données

Les données émanant des différentes sources interrogées sont structurées après réception au sein du système d'information du registre (base de données Oracle). L’import du fichier source répond à des règles strictes consignées au sein d’un manuel de procédures et de gestion de données, dont les principales étapes sont mentionnées ci-après.

 

 

L’import des données fait référence aux différentes étapes suivantes :

 

1- Homogénéisation des données

Cette procédure a pour objet :
- d’homogénéiser les noms et formats de variables,
- de produire les variables structurelles nécessaires au maintien de l’intégrité référentielle de la base de données,
- d’éliminer et journaliser les doubles enregistrements existant sur les clefs structurelles,
- de traiter les caractères spéciaux ou de ponctuations au sein des données d’identité,
- de filtrer les cas non éligibles par le registre des cancers,
- de créer certaines tables spécifiques selon la source de données : compte-rendus d'anatomopathologie, diagnostics associés et actes CCAM du PMSI.

2- Mise à jour des données

Cette procédure vise à corriger les enregistrements déjà contenus dans la base si des modifications apparaissent d’un envoi à l’autre (les données sont envoyées mensuellement, trimestriellement, semestriellement ou annuellement selon la source de données). La procédure repose sur la comparaison des données à ajouter et des données enregistrées à partir de la clef d’identification créée au sein du processus d’homogénéisation des données. Les mises à jour sont spécifiques de la source de données traitée.

3- Traitement des données d'identité (interconnexion des enregistrements)

L’intégration des données sources au sein du système d'information du registre se fait autour de l’individu, et fait appel aux techniques de "computerized record linkage" (interconnexion automatique des enregistrements) au travers d'un serveur d'identité. Un individu y est identifié par son nom, prénom, sexe et date de naissance. L'objectif est de rattacher chaque enregistrement source à l’individu auquel il appartient.
- Si un nouvel enregistrement correspond à un individu déjà connu du registre, il est automatiquement rattaché à cet individu,
- Sinon, une nouvelle identité est créée avec son identifiant unique, puis est reliée aux enregistrements sources correspondants.

 

4- Génération d'un compte rendu de réception des données

Un compte rendu de réception des données, qui fait état de l'intégration des données dans le système d’information du registre, et remis électroniquement à l’envoyeur. Ces comptes rendus sont spécifiques de la source de données, et peuvent intégrer certains contrôles de cohérence dans une démarche d'amélioration de la qualité du codage.
- ACP : Contrôles de cohérence des codes ADICAP et données manquantes pour retour au CRISAP et aux pathologistes concernés ;
- PMSI : Dénombrement des RUM, DAS, et actes CCAM pour retour aux médecins DIM
- AMA : Contrôles de cohérence des tumeurs déclarées et données manquantes pour retour à l’Assurance Maladie.

5- Sauvegarde du journal d'import

Un compte rendu complet destiné aux membres du registre rend compte du déroulement de l’import réalisé :
- date et heure de l’import,
- nombre de lignes réceptionnées,
- nombre de lignes doublonnées,
- nombre de lignes non éligibles supprimées,
- nombre de lignes ajoutées et/ou mises à jour dans la base de données,
- identités manquantes,
- effectif et âge des patients.
Le journal détaillé (log) contenant les informations de l’import est archivé automatiquement au sein d’un dossier du nom du lot importé, accompagné des données originales et des comptes rendus de réception de données.
Une table détient l’historique de la totalité des imports réalisés au sein du registre.