-- XavierHaubois - 06 Dec 2018

Mai 2019 : Plan pour 2019

Quickmeeting #1 05 Mai 2019

Présents: Gilles, Guillaume, Laurent et Xavier

- AG minutes

Espaces privées ont été mentionnées.

Alexis: OiDB diffuse données SUV. 1 an pas assez? Possible... A Chara, c'est 1,5 ans.

SUV: oifits L2, invisible, comme données PIONIER sous embargo.

Date limite maximum, pas d'embargo.

SUV réduit données publiques (1 an après observation) sur demande.

Schema de stockage.

Plus large que SUV.

IMportant pour attirer des oifits

https://www.eso.org/sci/observing/phase3.html:

"ESO’s policies governing Phase 3 are specific to the type of observing programme. Phase 3 is mandatory for ESO Public Surveys and for ESO Large Programmes since period 75. For other ESO programmes there is no obligation but PIs are invited to take advantage of the Phase 3."

Ex de SPHERE: font reduction rapide avec

Intérêt autre que le partage (qui va utiliser sur l'équipe).

Equipe YSO de gravity: 10 personnes.

1er brique: mettre en place un embargo de date reglable sur un L2 de n'importe quel instrument (autre que PIONIER).

Fonctions à développer:

Sur compte PI, fichiers oifits L1 protégé pendans X ans.

Partageable avec d'autre comptes (coPI). Suppression, critères de qualité, conservation du backlog, gestion des doublons?

- OiDb tourner sur platefrome docker facilite la mise en ligne de version avec nouvelle foncitonnalités (que ce soit beta ou version de production).

Transfer d'ici la fin du mois. Régler fin mai avec L0 ESO / quickplots .

- espace prive a partir de Juin.

- Exportation/selection des granules en oifits: OiFits Explorere le fait déjà .

Etablir le besoin avant de penser à le mettre sur OiDB.

- Telechargement de fichier oifits simultanées : engrenage dans la ligne, .

Telechargement. Si pbm.

--> Eclater le menu engrenage, dans la barre.

- Code couleur / icone pour identifier visuellement L0, L2, L3

Changer de place. En gras pour L2 et L3.

- A2P2

- CDD? OiDB et A2P2 et autres. demarrage en Octobre. Presentation en juin.

Projet de partager l'ensemble des service. Lier obsrevation avec bases de données d'observation deja faites.

A2P2 passerelle entre Aspro et observations deja faites.

Ex: Plusieurs programmes a gerer, dans aspro on peut savoir où en est un programme.

Suivi des programmes...plan UV deja rempli,,,,

plateforme collaboraitve poru partager des asprox et creer des OBs.

Algo d'Antoine reconstruction d'image dans JMMC?

A2P2: MATISSE, a faire....pour EWASS?

Guillaume dispo en mai pour ça.

Novembre: ESAC MADRID, conf sur prepartion d'observation.

Pres: SF2A,

EWASSS

Aspro: AO gerer

RDV Juin 28 :

d'ici là.

Interop. Sebastien Derriere:

SearchCAl.

Visibilité des papiers interfero dans SImbad

Suite aux Priorities OIDB 2.0, les actions prioritaires pour le sprint OiDB de Décembre sont relatives aux Quicklooks, PDF PIONIER et L0 .

Quicklook plots.

• Ticket 773: Finir de spécifier les plots en ne considérant aucun changement sur OIfitsExplorer (pas de sélection possible de Baselines, Bmin ou Bmax, ignorer les details esthetiques de répétition des titres et colorbar). On génére un seul quickview plot de preview accessible depuis la page de Details de granule (exemple: http://oidb-beta.jmmc.fr/show.html?id=359689) ou en passant le curseur sur le lien.
• Gérer la mise à disposition de ces fichiers pour les fichiers sous embargo.
• Si la création à la demande nécessite qqs secondes pour sortir on the fly une image. Il faudrait générer les quickplots de toutes les granules à l'avance.

PDF PIONIER:

• Utilise les mêmes briques que les quicklook plots (Data link)
• Plus de pbm majeur a part organisation du filesystem et gestion de l'acces au PDF pour les données sour embargo.
• Des rapports similaires PDF de Gravity sont envisageables (à adapter)

Fonctionnement

• Remplacer le module de validation d'OiDB par OiVal qui gere OIFITS 2 et a plusieurs niveaux de sévérité d'erreurs (Guillaume).
• Assainir la structuration du file system sur le serveur pour les retrouver et lier les PDF PIONIER ou quicklook plots (Guillaume)

L0 VLTI:

• Valider les L0 ESO avant de les pousser sur la beta (Xavier)
• Réaliser un increment automatique tous les jours (telecharger depuis Vizier Vo table et la pousser automatiquement). Voir mail de Gilles à jmmc-databases du 06/12/18.
• Tous les ans, regénérer depuis 0 tous les L0 ESO pour prendre en compte les modifications des L0 ESO a posteriori

Collections

• Bug résolu sur l import de collection MIDI
• Collec Beta Lyr à des pbms de validation: MJD < 0, retour au soumetteur?

Développement

• Définir les metadonnéess qu'il faudrait ajouter au DM pour mieux coller au OIFITS 2.0, MATISSE notamment. Une premiere metadonnée serait la version de l'OIFITS. Pour l'instant on utilise les metadata de V1 mais le fichier peut etre V2 et etre incompatible avec certains outils de la communauté.
• Selections multi-granules (object, instrument (FT/SC)) avec merge de fichier fits: la selection faite dans OiDB à injecter dans le mechanisme oitools (librarie OIFITSExplorer, sur gitHub + page wiki). Pour le quickplot associé à des sélections, on peut generer à la demande en demandant à l'utilisateur de patienter.

Quickmeeting #2 11 Dec 2018

Présents: Gilles, Guillaume, Laurent et Xavier

Echange rapide avec Xavier en fin de nuit (avec un point pour boucler a2p2 d'ici quelques semaines non noté ici...)

précisions

• Supprimer la récupération des dataPi pour les L0 ESO. le lien depuis la page de detail des granules vers le portail ESO suffit.
• La reorganisation des fichiers se fera suivant une arborescence a definir et si possible avec une separation par date pour eviter le cas de pionier ou plusieurs milliers de fichiers sont dans le même repertoire.
• Il faudra gere les sources de metadonnées associées aux granules venant de l'oifits ou infos externes (data quality par ex. datapi...)
• Les deux profils de quickplots sont définit et seront appliqués sur tout ce qui est possible de manière grossière dans un premier temps (oui il y a toujours des cas particuliers...)

Nouvelles données

Suite à la réouverture de l'accès ftp, de nouvelles collections on pu être déposées sur la version oidb-beta.

On peut désormais tester la validation de l'ensemble des fichiers d'un catalogue CDS directement à partir de son nom, sur oival-beta pour l'instant avec par ex:

• {beta} Lyr light curves (Mourard+, 2018)
  • oival: http://oival-beta.jmmc.fr/validate.xql?cat=J%2FA%2BA%2F618%2FA112
• MIDI atlas of low- and intermediate-mass YSOs (Varga+, 2018)
  • oival : http://oival-beta.jmmc.fr/validate.xql?cat=J%2FA%2BA%2F617%2FA83

C'est un peu long (1minute/30Mo pour la catalogue de Denis ). Mais tout est la !) A rendre plus dynamique/clair / regrouper par type d'erreurs, plus tard probablement...

En beta pour l'instant, n'attend qu'un feu vert des power users pour être redeployer en verion publique (c'est maintenant très facile!!! youpi la nouvelle infra).