OiDbReunion31May2013 < Jmmc/Software

Tags: view all tags
Minutes VO for Optical Interferometry du 31/05/2013

Présents: Philippe Berio, Laurent Bourges, Gilles Duvert, Xavier Haubois, Sylvain Lafrasse, Jean-Baptiste LeBouquin, Guillaume Mella, Nicolas Nardetto, Johan Olofsson, Myriam Benisty

Excusés: Olivier Chesneau, Sylvestre Lacour, Denis Mourard

But : Définition du projet d'archivage et mise en place d'un cahier des charges de solutions techniques pour que l&#8217;équipe technique
puisse débuter en septembre.

%TOC%

---+ Introduction au projet + rappel de ce qui a été fait :
   * http://jmmc.fr/exist/oidb/index.xql
   * http://www.jmmc.fr/twiki/bin/view/Jmmc/VirtualObservatoryForOpticalInterferometry
   * https://listes.ujf-grenoble.fr/sympa/info/olbin.vo


---+ Définition des données à archiver par niveau de réduction

   * Utilisation d'oifits finaux, épurés, i.e. calibrés. Si l'utilisateur veut recalibrer les données, il peut reprendre les données brutes : il faut juste qu'il y ait toute l'info nécessaire pour reprendre l'ensemble. Fédérer l'ensemble des dépôts avec des métadonnées riches mais sans centraliser les données brutes.

   * Définition des données et de leur stockage au JMMC :
|Niveau de réduction  		|	Contenu		|			       	   Stockage au JMMC 	|
|	Level-0 - L0 	|	 Données brutes + metadonnées 				|	Seulement les métadonnées | 
|	Level-1 - L1 	|	Données réduites non calibrées + métadonnées		|	Aucune archive n'est stockée |
|	Level-2 - L2	|	Données réduites calibrées + métadonnées		|		Tout |
|	Level-3 - L3	|	Données publiées + métadonnées 				|		Tout |
|	Level-4 - L4	|	Produits dérivées (spectre,ajustements, images reconstruites) + métadonnées 	|	Tout |


   * Pour l'instant la priorité est de mettre à disposition de la communauté les archives L2, L3 et L4. Ensuite avec l'augmentation des services JMMC, aller vers le niveau plus basique des données (L1, L0 ) et notamment l'utilisation en ligne de pipeline ?

   * Cas des données L0 en période propriétaire. Pousser que les métadonnées soient envoyées en temps réel (choix du pi de l instrument) -> données accessibles via requête au PI. 
-> afficher ces observations avec des métadonnées de base sur les conditions d'observations (seeing, t0),la source, nombre de télescopes et les informations de contact du PI (+ observateur ?). Pas d'information de qualité.
Visibilité restreinte ? Problème de la confidentialité ? Demander l'accord des PI d'instruments.

   * Chaque PI (Qui est le PI des données ? Le PI de l'instrument ou les scientifiques ?) doit s'interfacer avec la database pour définir les bons mots clés. Il doit pouvoir donner accès à des utilisateurs.

---+  Quelles métadonnées ?

   * Nécessité de fédérer et d'homogénéiser les métadonnées de chaque instrument (instrument, bande, étoile) pour savoir que telle étoile a été observée par tel instrument et comment. Que faire pour les oifits qui n&#8217;ont pas les métadonnées intéressantes dans leurs keywords ? Les fournisseurs de données ne vont pas remplir les champs pour chaque archive&#8230;

   * Dans tous les cas les métadonnées devraient être simples : ~ OI_ARRAY+ OI_TARGET + seeing (si disponible) + tau0+ numéro de programme + PI + mode instrumental

   * Données >= L2 : Flag de qualité de 1 a 5 comme pour VEGA (définition ? moyenne de l'erreur sur la visibilité  ?), qui soit automatique, web 2.0 (avis utilisateur), ou publiés.

   * Métadonnées L3 (données à archiver en priorité): 
le PI remplit un formulaire dont les champs sont : référence du papier (doi), nom du PI des données, code du run ou programme (en option) + adresse de contact du PI des données ?
+ un mode automatique qui va chercher les keywords dans les oifits

   * Dans le fichier oifits, il y a la plupart du temps : nom objet, nom instrument,date mjd, lgr d'onde, mode, intervalle spectral, bases/télescopes,moyenne de visibilité,ro,to
   * Métadonnées à définir pour chaque niveau de réduction : prochaine réunion + discussion PI/jmmc
   * Quels plots (couverture UV, etc)/statistiques ?

---+  Question de la définition d'une observation

   * L'oifits est un fichier conteneur. Sa définition n'est pas spécifiquement celle d'une observation.
Qu'est ce qu une observation ? 
Un fichier oifits ou une ligne dans un fichier oifits ? Un objet calibré observé avec un instrument dans un seul mode pendant une durée raisonnable (1 nuit) ?

   * A l'avenir, on peut imaginer agréger, filtrer, modifier les archives. En interne, on peut donc travailler à cette définition de l'observation et aboutir à un nouveau standard de fichier.

   * Mais pour l'instant, la base de données offrira d'abord un service d'archivage. L'utilisateur de la base de données aura accès à des archives qui seront telles qu'elles ont été transmises originellement par les fournisseurs de données. 

---+ Environnement du projet

   * ESO : archivage de leur côté. Phase 3 en cours, se renseigner.
   * CHARA : pas de coordination entre instruments.
   * VEGA a sa base de données brutes, avec indicateur de qualité une fois les données traitées http://vegaobs-ws.oca.eu/ 

La volonté du JMMC est d'aider à mettre en ligne des données de toutes origines dans l'esprit du VO. L'ojectif etant principalement de fournir à la communauté d'utilisateur un/des portails d'accès aux données issues/stockés multisites.

---+ ACTIONS

Dans un premier temps, nous voulons constituer principalement une archive de données science ready. Nous souhaitons que les utilisateurs envoient leurs archives L3, PI envoient leurs métadonnées L0 et données + métadonnées L2 et L3.

   * Au JMMC, création d'un groupe de travail "base de données", et établissement d'un cahier des charges le détaillant.
   * Objectifs de la prochaine réunion :
      * Définir les metadonnées pour L0 et L2 (déjà décidé pour L3).
      * Définir le formulaire que les PI vont remplir pour archiver leurs données L3 et L2.
      * Ecrire le draft du mail aux PI des instruments (PIONIER, VEGA, MIRC,MIDI, NPOI,SUSI, IOTA) : re-présenter le projet, demande d'envoi des données L2+L3, demande d'accord et mise en place de la diffusion des métadonnées L0.
Topic revision: r9 - 2013-06-26 - XavierHaubois