Présents

Patrick Bernaud, Laurent Bourgès, Gilles Duvert, Xavier Haubois, Jean-Baptiste LeBouquin, Guillaume Mella, Johan Olofsson

Etat des lieux

• Formulaire de recherche
  • combinaison multiple (mecanisme en place offrant a terme possibilité de combinaisons AND + OR )
  • conesearch
  • erreurs remontées, mise en page à définir
• integration des données L0 VEGA a partir de vega obs
• amelioration de la soumission
• extraction des données affichées a travers les menus en debut de ligne : download votable/collection...

Remarques:

• signalement sur les problemes de coordonnées (collection J/A+A/544/A91):
  • definir le niveau de validation a retenir pour accepter ou pas les fichiers: validation de fichier FITS, application automatique de règles pour rejet, signalement ou passage à administrateur pour revue (backoffice) (Ticket #551)
• rajouter un champ libre requete adql + demander au cds leur validateurs
• todo :
  • déplacer l'instance sous http://jmmc.fr/oidb et si possible oidb.jmmc.fr en vue d'un passage sous vm indépendante.
  • mettre un lien vers l'applauncher si samp n'est pas la (+ menu grisé)
  • ajout d'un mime-type associé à l'oifitsexplorer
  • affiner la notion de subset pour permettre la transmission de la requete posée dans le portail à travers les fichiers oixp (nom étoile, instruments, date...)
  • classer par colonnes rajouter interface pour trier/classer par colonnes (déjà possible par paramètres URL, non documenté)
  • ajouter un test de validité de bibcode dans l'injection de de données L3
  • OIFits Explorer devrait pouvoir sauvegarder les fichiers téléchargés par une collection dans un répertoire choisi. On peut imaginer à terme que le service d'extraction (avec filtrage....) soit implementé dans le portail directement.

Echanges points à traiter cours et moyen terme / definition des priorités

Granularité Priorité n°1

1 fichier, 1 étoile, 1 instrument, 1 unité de temps

• probleme d'identification de l'étoile: utiliser target_name ou bien utiliser ses coordonnées après resolution Simbad (5 arcsecs) ? si non trouvée => problème à remonter en back-office
• reste decoupage par nuit MJD+1
  • peut dependre de la longitude du site
• la notion d'ID (observation) prendra tout son sens en rapport avec la notion de granularité; faut-il utiliser cet ID dans les URL / liens au lieu du nom de fichier OIFITS pour à terme simplifier la notion d'extraction de données pour une observation ?
• comment traiter les données sans MJD (distinction fichier bien formé / valide) ? utiliser le keyword OBS_DATE ?

infrastructure

Cette action monopolisera le groupe technique en parallele de l'implementation:

• mise en place d'un cache L1/L2 (analyse local, checksum)
• clarifier l'architecture avec les archives externes (quelles interfaces)
• anticiper sur les questions archives a poser avant l'interop
• montage d'une machine virtuelle dédiée, remplacement de certaines briques obsoletes (DSA/TAP)

metadonnées

• quid de la gestion des keywords FITS (primary HDU): pour faciliter l'injection de données (detection auto de l'instrument...) ou permettre leur utilisation comme criteres de recherche
• définir des marqueurs de qualité (valeurs à extraire des fichiers OIFits): calcul du SNR, min/max, moyenne... (Ticket 579)

acces privatif (pas prioritaire pour les 3 mois)

gestion des droits

• compliqué si les regles sont trop personnalisées
• revenir a la vrai notion de propriété PI de run: ou trouver cette information (la base des observations VEGA connait le PI du run) ?
• voir besoin gestion personnelle ou par groupe etc ...

gestion des metadonnées

• elles sont par principe publiques
• approfondir quelles méta données sont manquantes çàd quelles informations sont nécessaires pour:
  • réaliser des requetes avancées (TAP Obscore extension OI) ?
  • les afficher dans une vue détaillée d'une observation et aider à choisir parmi N observations distinctes (mode comparateur)

Back Office:

Doit-on faire un backoffice: OUI

Fonctionnalités:

• gestion des utilisateurs et leurs droits (seulement web master pour l'instant) et des groupes (futur lointain)
• voir les observations en attente de validation (upload) ou qui ont eu des problemes (OIFits validator, meta données manquantes)
• vérifier les données saisies par les utilisateurs (champs supplémentaires, commentaires ...)
• configurer les accès vers les archives externes (CDS, VEGA OBS, ESO?, CHARA ...): URL, périodicité, contact ...
• vérifier les erreurs d'imports à partir des archives externes (erreurs des traitement automatisés, gestion des doublons/conflits de MAJ)

Taches de fond du portail (jobs):

• interrogation des archives externes: téléchargement des fichiers + BDD externes
• extraction des meta données à partir des fichiers OIFits + validation
• résolution des targets SimBad => ID observation
• MAJ du cache local
• MAJ BDD TAP (meta données)

Attention à la sauvegarde des fichiers et des données propres BDD (saisies des utilisateurs)

A détailler et approfondir ...

Calendrier

• venue de Theo 28-30 avril
• Interop 18-23 Mai Madrid
• SPIE - Montréal, Quebec, Canada 22 - 27 June 2014
  • un creneau sera libéré pour un talk SPIE meme si actuellement c'est un poster qui est proposé
• prevoir une réunion fin avril avant arrivée de Theo

Questions

• quelles sont les statistiques de consultations ? mettre en place les statistiques apache comme pour les autres accès aux serveurs *.jmmc.fr

Infos

• l'ESO relance sur le chantier oifits V2 vis a vis de leur futur offre phase3 (pas d'echange avec nous)
• faut-il faire une communication liste olbin.vo ?

-- GuillaumeMella - 21 Mar 2014