Présents

Patrick Bernaud, Laurent Bourgès, Gilles Duvert, Xavier Haubois, Jean-Baptiste LeBouquin, Guillaume Mella, Johan Olofsson

Etat des lieux

• Formulaire de recherche
  • combinaison multiple (mecanisme en place offrant a terme possibilité de combinaisons AND + OR )
  • conesearch
  • erreurs remontées, mise en page à définir
• integration des données L0 VEGA a partir de vega obs
• amelioration de la soumission
• extraction des données affichées a travers les menus en debut de ligne : download votable/collection. Ces Vo table sont bien lues avec TopCat et présentent une version détaillée de la table présentée sur le portail web. Donc pratique quand on veut examiner le détail d'une collection par exemple.

Remarques:

• signalement sur les problemes de coordonnées (collection J/A+A/544/A91):
  • definir le niveau de validation a retenir pour accepter ou pas les fichiers: validation de fichier FITS, application automatique de règles pour rejet, signalement ou passage à administrateur pour revue (backoffice) (Ticket #551)
• rajouter un champ libre requete adql + demander au cds leur validateurs
• todo :
  • déplacer l'instance sous http://jmmc.fr/oidb et si possible oidb.jmmc.fr en vue d'un passage sous vm indépendante.
  • mettre un lien vers l'applauncher si samp n'est pas la (+ menu grisé)
  • ajout d'un mime-type associé à l'oifitsexplorer
  • affiner la notion de subset pour permettre la transmission de la requete posée dans le portail à travers les fichiers oixp (nom étoile, instruments, date...)
  • classer par colonnes rajouter interface pour trier/classer par colonnes (déjà possible par paramètres URL, non documenté)
  • ajouter un test de validité de bibcode dans l'injection de de données L3 : vérifier les liens, comment faire ça de facon semi-automatique (flag) ?
  • OIFits Explorer devrait pouvoir sauvegarder les fichiers téléchargés par une collection dans un répertoire choisi. On peut imaginer à terme que le service d'extraction (avec filtrage....) soit implementé dans le portail directement.

Echanges points à traiter cours et moyen terme / definition des priorités

Granularité Priorité n°1

1 fichier, 1 étoile, 1 instrument, 1 unité de temps

• probleme d'identification de l'étoile: utiliser target_name ou bien utiliser ses coordonnées après resolution Simbad (5 arcsecs) ? si non trouvée => problème à remonter en back-office
• reste decoupage par nuit MJD+1
  • peut dependre de la longitude du site
• la notion d'ID (observation) prendra tout son sens en rapport avec la notion de granularité; faut-il utiliser cet ID dans les URL / liens au lieu du nom de fichier OIFITS pour à terme simplifier la notion d'extraction de données pour une observation ?
• comment traiter les données sans MJD (distinction fichier bien formé / valide) ? utiliser le keyword OBS_DATE ?

Niveau de qualité Priorité n°2

• définir des marqueurs de qualité (valeurs à extraire des fichiers OIFits): calcul du SNR, min/max, moyenne... (Ticket 579)

Infrastructure

Cette action monopolisera le groupe technique en parallele de l'implementation:

• mise en place d'un cache L1/L2 (analyse local, checksum), le signaler dans la documentation
• clarifier l'architecture avec les archives externes (quelles interfaces)
• anticiper sur les questions archives a poser avant l'interop
• montage d'une machine virtuelle dédiée, remplacement de certaines briques obsoletes (DSA/TAP)

Soumission des données

• Les 3 modes doivent être testés : http://apps.jmmc.fr/exist/apps/oidb/submit.html

acces privatif (pas prioritaire pour les 3 mois)

gestion des droits

• compliqué si les regles sont trop personnalisées, permission à accorder pour chaque archive ?
• revenir a la vrai notion de propriété PI de run: ou trouver cette information (la base des observations VEGA connait le PI du run) ?
• voir besoin gestion personnelle (depuis la page du compte du dataPI) ou par groupe etc ...

gestion des metadonnées

• elles sont par principe publiques
• approfondir quelles méta données sont manquantes çàd quelles informations sont nécessaires pour:
  • réaliser des requetes avancées (TAP Obscore extension OI) ?
  • les afficher dans une vue détaillée d'une observation et aider à choisir parmi N observations distinctes (mode comparateur)
• quid de la gestion des keywords FITS (primary HDU): pour faciliter l'injection de données (detection auto de l'instrument...) ou permettre leur utilisation comme criteres de recherche

Back Office:

Doit-on faire un backoffice: OUI

Fonctionnalités:

• gestion des utilisateurs et leurs droits (seulement web master pour l'instant) et des groupes (futur lointain)
• voir les observations en attente de validation (upload) ou qui ont eu des problemes (OIFits validator, meta données manquantes)
• vérifier les données saisies par les utilisateurs (champs supplémentaires, commentaires ...)
• configurer les accès vers les archives externes (CDS, VEGA OBS, ESO?, CHARA ...): URL, périodicité, contact ...
• vérifier les erreurs d'imports à partir des archives externes (erreurs des traitement automatisés, gestion des doublons/conflits de MAJ)

Taches de fond du portail (jobs):

• interrogation des archives externes: téléchargement des fichiers + BDD externes
• extraction des meta données à partir des fichiers OIFits + validation
• résolution des targets SimBad => ID observation
• MAJ du cache local
• MAJ BDD TAP (meta données)

Attention à la sauvegarde des fichiers et des données propres BDD (saisies des utilisateurs)

A détailler et approfondir ...

Calendrier

• venue de Theo 28-30 avril
• Interop 18-23 Mai Madrid : contacter rapidement le SOC et soumettre une contribution.
• SPIE - Montréal, Quebec, Canada 22 - 27 June 2014
  • un creneau sera libéré pour un talk SPIE meme si actuellement c'est un poster qui est proposé
• prevoir une réunion fin avril avant arrivée de Theo

Questions

• quelles sont les statistiques de consultations ? mettre en place les statistiques apache comme pour les autres accès aux serveurs *.jmmc.fr

Infos

• l'ESO relance sur le chantier oifits V2 vis a vis de leur futur offre phase3 (pas d'echange avec nous)
• Pour maintenir la mailing liste vivante, faire une communication liste olbin.vo en donnant un état des lieux du projet.

-- GuillaumeMella - 21 Mar 2014