Cette page regroupe les différents points techniques pour aider à structurer le projet OIDB.

Cahier des charges

Voir le document de définition de OIDB suite à la réunion du 26 juin 2013.

Notes

Collection

Définir une collection pour regrouper plusieurs entrées dans la base au choix de la personne qui soumet les données.

Push/Pull pour insertion dans la base

Méthodes d'ajout de données à proposer :

  • soumission de fichiers/collections: l'utilisateur effectue des requêtes HTTP PUT vers le serveur pour ses fichiers OIFITS ou collection de fichiers OIFITS. Le portail propose un formulaire pour soumission simple manuelle.

  • récupération des fichiers/collections: l'application se charge de récupérer automatiquement les fichiers sur un serveur que l'utilisateur renseigne. Format à définir: fichier XML listant les resources ? parsing d'un listing/documents HTML ? Le portail permet à l'utilisateur de renseigner l'adresse de son serveur et les conditions d'accès.

Mise à jour des données

Les fichiers/collections peuvent être modifiés plus ou moins régulièrement. L'application doit télécharger/réinterroger les repositories régulièrement ou être mis à jour.

Mise à jour sur demande de l'utilisateur (renvoi des données par l'utilisateur) ? Analyse automatique (identifier les modifications: checksum) ?

Consultation données

Pour récupérer des données extérieures :

  • faire du portail un proxy: sur demande de l'utilisateur, le portail interroge le repository, télécharge le fichier et le retourne à l'utilisateur. L'application sait que l'utilisateur à téléchargé le fichier.

%IMAGE{"external_data_proxy.png|400px||frame|center"}%

  • l'utilisateur interroge l'application qui lui retourne une URL pour la resource demandée. L'utilisateur fait un HTTP GET sur cette URL pour récupérer le document. L'application garde la trace de la demande d'URL mais ne peut confirmer que le document a été téléchargé. L'application sait que l'utilisateur a demandé l'URL (téléchargement probable mais non garanti).

%IMAGE{"external_data_direct.png|400px||frame|center"}%

  • faire redirection (à la Google): variation du cas précédent, l'utilisateur interroge le portail qui redirige (URL forwarding, HTTP 303) vers le repository externe. Support de la redirection dans tous les clients/applications ?

Séquestration données

Certaines données stockées peuvent faire l'objet d'un embargo pendant une durée à définir. Permettre aux personnes intéressées de contact le propriétaire des données.

Modifications du schéma de la base courante

  • organisation par collection.

  • permettre de faire le lien entre les données et la personne/entité responsable.

  • permettre de donner des descriptions et commentaires sur les données stockées (fichier, collection, target).

  • laisser la possibilité de lier des éléments de la base avec un papier scientifique (référence bibliographique)

  • conserver plusieurs versions d'une même données pour référence.

OIFITS

Définir/extraire les metadonnées des fichiers OIFITS à stocker en base.

  • gérer les datum avec flag=true (OI_VIS, OI_VIS2, OI_T3).

  • prendre en compte wavelengths en double (plusieurs OI_WAVELENGTH dans un même fichier OIFITS avec même valeur de wavelength).

-- PatrickBernaud - 06 Dec 2013

Topic revision: r1 - 2013-12-06 - PatrickBernaud
 
This site is powered by the TWiki collaboration platform Powered by PerlCopyright © 2008-2024 by the contributing authors. All material on this collaboration platform is the property of the contributing authors.
Ideas, requests, problems regarding TWiki? Send feedback