Guillaume Mella - 2020-10-01

2 Octobre 2020

Principales nouvelles fonctionnalités

Ca a bien bougé depuis début septembre : oidb est parfois même en avance sur oidb-beta.

-> un peu plus de détail dans les releases notes

Moisson ObsPortal

• permet le lien L0<->L2,3, traitement des release_dates VLTI
  • à mené à corriger les releases dates de la collection PIONIER

Amélioration de la protection des données sous embargo

• les datalinks sont maintenant eux aussi couverts
• le traitements est un peu complexe puisque certaines données (pdf) sont partagées entre plusieurs OIFits ayant des releases dates =
  • la date la plus lointaine est retenue
• on constate des données 'non science' : calibrateurs, obs de test, commissioning...
  • faut-il rajouter des traitements spécifiques (filtrage) ?

Collections privées

• Première mise en place SUV :
  • pas encore utilisée
  • à étendre avec un partagr de données aux COIs ?

Ancillary data

• première tentative entre L0 et L2 relié sur porgid et obs_id
  • ex. d'affichage des liens : http://oidb.jmmc.fr/show.html?id=1281061
  • ne relie que le premier L0 aux L2 puisque qu'un OIFIts ne fournit qu'un seul id à travers le keywords ARCFILE
  • un lien grosse maille sur la base du progid renvoit vers obsportal/ESOarchive
    • peut-on mieux restreindre sur obsportal avec un filtrage supplémentaire par target / date ?
  • du coup la meta donnée interferometer_stations des granules sera probablement plus simple à remplir depuis l'OIFits

Sollicitations utilisateurs:

Demande d'accès aux données sous embargo

4 demandes courant de l'été pour des données PIONIER

Dépôts de nouvelles données

oidb=> select calib_level, obs_collection, subdate from oidb where subdate > DATE('2019-10-01') group by subdate, obs_collection, calib_level order by subdate DESC, obs_collection; 

calib_level	colname	pi	obs_collection	subdate
0	VEGA Import	Denis Mourard	http://oidb.jmmc.fr/search.html?collection=vegaobs_import	2020-09-30 23:11:08.809552
0	ESO VLTI import	ESO USD	http://oidb.jmmc.fr/search.html?collection=eso_vlti_import	2020-09-22 04:02:27.785446
2	Kappa Tuc	Florian Kirchschlager	http://oidb.jmmc.fr/search.html?collection=faa4f229-65a1-4058-a4f2-2965a140586a	2020-09-21 09:15:10.790579
2	Kappa Tuc	Florian Kirchschlager	http://oidb.jmmc.fr/search.html?collection=faa4f229-65a1-4058-a4f2-2965a140586a	2020-09-21 09:07:51.720362
2	Imaging Contests (2004, 2006, 2008 and 2010)	Xavier Haubois	http://oidb.jmmc.fr/search.html?collection=7f7fb9ed-350b-415b-bfb9-ed350b515b8c	2020-09-18 03:12:15.456523
3	pi1 Gruis PIONIER	Claudia Paladini	http://oidb.jmmc.fr/search.html?collection=19f7e2cf-2a03-4bb2-b7e2-cf2a03bbb245	2020-09-01 21:57:21.206402
2	PIONIER	Jean-Baptiste Le Bouquin	http://oidb.jmmc.fr/search.html?collection=PIONIER	2020-08-28 09:06:07.115448
3	iot Peg	Narsireddy Anugu	http://oidb.jmmc.fr/search.html?collection=fac164e1-d9d0-4500-8164-e1d9d0450099	2020-07-30 09:35:19.204697
0	ESO VLTI import	ESO USD	http://oidb.jmmc.fr/search.html?collection=eso_vlti_import	2020-06-22 07:29:23.679696
0	ESO VLTI import	ESO USD	http://oidb.jmmc.fr/search.html?collection=eso_vlti_import	2020-06-22 07:26:47.30545
0	ESO VLTI import	ESO USD	http://oidb.jmmc.fr/search.html?collection=eso_vlti_import	2020-06-22 07:25:30.992352
0	ESO VLTI import	ESO USD	http://oidb.jmmc.fr/search.html?collection=eso_vlti_import	2020-06-22 07:24:02.723438
0	ESO VLTI import	ESO USD	http://oidb.jmmc.fr/search.html?collection=eso_vlti_import	2020-06-22 07:22:39.567327
0	ESO VLTI import	ESO USD	http://oidb.jmmc.fr/search.html?collection=eso_vlti_import	2020-06-22 07:21:32.70979
0	ESO VLTI import	ESO USD	http://oidb.jmmc.fr/search.html?collection=eso_vlti_import	2020-06-22 07:19:10.148633
0	ESO VLTI import	ESO USD	http://oidb.jmmc.fr/search.html?collection=eso_vlti_import	2020-06-22 07:17:27.410078
0	ESO VLTI import	ESO USD	http://oidb.jmmc.fr/search.html?collection=eso_vlti_import	2020-06-22 07:16:20.041915
0	ESO VLTI import	ESO USD	http://oidb.jmmc.fr/search.html?collection=eso_vlti_import	2020-06-22 07:15:14.783906
0	ESO VLTI import	ESO USD	http://oidb.jmmc.fr/search.html?collection=eso_vlti_import	2020-06-22 07:09:33.788779
3	CL Lac	Andrea Chiavassa	http://oidb.jmmc.fr/search.html?collection=3d64620d-a152-4e75-9bc4-c68735d293b1	2020-06-16 08:35:29.110245
3	Keiichi Ohnaka	Keiichi Ohnaka	http://oidb.jmmc.fr/search.html?collection=6cfa202a-e35c-458c-837e-c512e73c3e45	2019-10-08 17:41:07.746961

• KappaTuc : http://oidb.jmmc.fr/search.html?collection=~faa4f229-65a1-4058-a4f2-2965a140586a
  • "OIFITS V2"
  • aurait du être SUV !
  • on note que le dépôt s'est fait en 2 fois
  • -> oubli du progid pour certaines granules : c'est maintenant automatique pour progid et obs_id (si dans le fichier format ESO)
  • passage en L3 opéré par script avec correction/complement d'info rajouté par script
• Keiichi Ohnaka
  • -> nom de collection à corriger
  • formulaire modifié suite à une remarque sur le même point de Florian Kirchschlager
• les données des précédents contests ( http://oidb.jmmc.fr/search.html?collection=~7f7fb9ed-350b-415b-bfb9-ed350b515b8c)
  • -> la question du mélange sur les données 'simulées' /observées se pose ?
• pi1 Gruis PIONIER
  • Manque obs-id progid dans l'OIFITS -> pas de lien ancillary.
    • -> fournir une liste de suggestions à l'utilisateur pour aider à remplir les champs obs_id et progid vide lors de la soumission

Synchro collections externes

• VEGAOBS : synchro mensuelle toujours ok (mode reset)
• CHARA L0 : Changement de méthode en cours : Jeremy J. va déposer le complément pour les L0. Validé sur oidb-beta. Etait initialement alimentée manuellement par tech-group depuis un fichier CSV fournit par Chris F.
• ObsPortal : synchro quotidienne (mode incrémental)
  • synchro Archive ESO & ObsPortal 2x/jour

Prochaines étapes OiDB

• MAJ de la doc ?
• Mettre plus en avant l'interface TAP (URL + enregistrement dans le Regristry VO ) / reste à fixer un problème technique sur les jobs asynchrones
• Amélioration / bugfix :
  • soumission : fixer le insmod + ajout md5
  • ergonomie
    • page collection : table pas commode pas de details...
    • page collections : mettre en avant le côté L2 vs L3 ?
    • page recherche : proposer un champ supplémentaire de trie par date de publication de données ? -> permet de voir les enregistrements les plus récents : par ex : http://oidb.jmmc.fr/search.html?order=subdate&caliblevel=1%2C2%2C3
    • page recherche : rajouter un bouton show all colums ? pour avoir : http://oidb.jmmc.fr/search.html?all=&collection=faa4f229-65a1-4058-a4f2-2965a140586a
    • mettre en avant les données utilisateur une fois loggué & afficher les données lockées.
  • amélioration robustesse (un pb identifié). et peut-etre performance ?
  • répercuter le modifs de release_date des L0 sur les L2 (possible d'après les annonces ESO)
  • Laisser éditable certains champs après soumissions ? ex description collection...
• Nouveaux plots : timetable ?

Autres projets "databases"

projet SPICA

*porté par l'OCA / Denis, aide jmmc-tech-group à l'étude

JSDC V2.5

• pourrait faire partie d'un lot de services raccroché à un service de catalogues VO TAP ( et OiDB pourrait lui aussi migrer / se modulariser )

AOB ???