Decembre 2018 : SPRINT OIDB

Quickmeeting #1 05 Dec 2018

Présents: Gilles, Guillaume, Laurent et Xavier

Suite aux Priorities OIDB 2.0, les actions prioritaires pour le sprint OiDB de Décembre sont relatives aux Quicklooks, PDF PIONIER et L0 .

Quicklook plots.

Ticket 773: Finir de spécifier les plots en ne considérant aucun changement sur OIfitsExplorer (pas de sélection possible de Baselines, Bmin ou Bmax, ignorer les details esthetiques de répétition des titres et colorbar). On génére un seul quickview plot de preview accessible depuis la page de Details de granule (exemple: http://oidb-beta.jmmc.fr/show.html?id=359689) ou en passant le curseur sur le lien.
Gérer la mise à disposition de ces fichiers pour les fichiers sous embargo.
Si la création à la demande nécessite qqs secondes pour sortir on the fly une image. Il faudrait générer les quickplots de toutes les granules à l'avance.

PDF PIONIER:

Utilise les mêmes briques que les quicklook plots (Data link)
Plus de pbm majeur a part organisation du filesystem et gestion de l'acces au PDF pour les données sour embargo.
Des rapports similaires PDF de Gravity sont envisageables (à adapter)

Fonctionnement

Remplacer le module de validation d'OiDB par OiVal qui gere OIFITS 2 et a plusieurs niveaux de sévérité d'erreurs (Guillaume).
Assainir la structuration du file system sur le serveur pour les retrouver et lier les PDF PIONIER ou quicklook plots (Guillaume)

L0 VLTI:

Valider les L0 ESO avant de les pousser sur la beta (Xavier)
Réaliser un increment automatique tous les jours (telecharger depuis Vizier Vo table et la pousser automatiquement). Voir mail de Gilles à jmmc-databases du 06/12/18.
Tous les ans, regénérer depuis 0 tous les L0 ESO pour prendre en compte les modifications des L0 ESO a posteriori

Collections

Bug résolu sur l import de collection MIDI
Collec Beta Lyr à des pbms de validation: MJD < 0, retour au soumetteur?

Développement

Définir les metadonnéess qu'il faudrait ajouter au DM pour mieux coller au OIFITS 2.0, MATISSE notamment. Une premiere metadonnée serait la version de l'OIFITS. Pour l'instant on utilise les metadata de V1 mais le fichier peut etre V2 et etre incompatible avec certains outils de la communauté.
Selections multi-granules (object, instrument (FT/SC)) avec merge de fichier fits: la selection faite dans OiDB à injecter dans le mechanisme oitools (librarie OIFITSExplorer, sur gitHub + page wiki). Pour le quickplot associé à des sélections, on peut generer à la demande en demandant à l'utilisateur de patienter.

Quickmeeting #2 11 Dec 2018

Présents: Gilles, Guillaume, Laurent et Xavier

Echange rapide avec Xavier en fin de nuit (avec un point pour boucler a2p2 d'ici quelques semaines non noté ici...)

précisions

Supprimer la récupération des dataPi pour les L0 ESO. le lien depuis la page de detail des granules vers le portail ESO suffit.
La reorganisation des fichiers se fera suivant une arborescence a definir et si possible avec une separation par date pour eviter le cas de pionier ou plusieurs milliers de fichiers sont dans le même repertoire.
Il faudra gere les sources de metadonnées associées aux granules venant de l'oifits ou infos externes (data quality par ex. datapi...)
Les deux profils de quickplots sont définit et seront appliqués sur tout ce qui est possible de manière grossière dans un premier temps (oui il y a toujours des cas particuliers...)

Nouvelles données

Suite à la réouverture de l'accès ftp, de nouvelles collections on pu être déposées sur la version oidb-beta.

On peut désormais tester la validation de l'ensemble des fichiers d'un catalogue CDS directement à partir de son nom, sur oival-beta pour l'instant avec par ex:

C'est un peu long (1minute/30Mo pour la catalogue de Denis ). Mais tout est la !) A rendre plus dynamique/clair / regrouper par type d'erreurs, plus tard probablement...

En beta pour l'instant, n'attend qu'un feu vert des power users pour être redeployer en verion publique (c'est maintenant très facile!!! youpi la nouvelle infra).

Prochain RDV à confirmer : vendredi

Topic revision: r5 - 2018-12-12 - GuillaumeMella