Guillaume Mella - 2020-10-01

2 Octobre 2020

Principales nouvelles fonctionnalités

Ca a bien bougé depuis début septembre : oidb est parfois même en avance sur oidb-beta.

-> un peu plus de détail dans les releases notes

Moisson ObsPortal

• permet le lien L0<->L2,3, traitement des release_dates VLTI
  • à mené à corriger les releases dates de la collection PIONIER (des fichiers ayant les infos progid et obs_id / en fonction de la version du DRS)

oidb=> select granule.obs_id, granule.progid as granule_progid, obslog.progid as granule_progid, granule.obs_release_date as granule_release_date, obslog.obs_release_date as obslog_release_date from oidb as granule INNER JOIN oidb as obslog ON granule.obs_id=SPLIT_PART(obslog.obs_id,'_',1) AND NOT granule.progid = obslog.progid AND granule.calib_level>0 and obslog.calib_level=0 ;
            obs_id             | granule_progid | granule_progid | granule_release_date  | obslog_release_date 
-------------------------------+----------------+----------------+-----------------------+---------------------
 PIONI.2014-11-30T01:19:06.730 | 094.C-0175(A)  | 094.D-0624(B)  | 2015-11-30 01:17:47.3 | 2015-11-30 02:26:10
 PIONI.2014-11-30T01:41:35.326 | 094.C-0175(A)  | 094.D-0320(A)  | 2015-11-30 01:40:16.2 | 2015-11-30 02:51:06
 PIONI.2018-06-09T06:07:20.030 | 60.A-9800(X)   | 0101.B-0576(I) | 2019-06-09 06:27:47.6 | 2019-06-09 10:15:29
(3 lignes)

Amélioration de la protection des données sous embargo

• les datalinks sont maintenant eux aussi couverts
• le traitements est un peu complexe puisque certaines données (pdf) sont partagées entre plusieurs OIFits ayant des releases dates =
  • la date la plus lointaine est retenue
• on constate des données 'non science' : calibrateurs, obs de test, commissioning...
  • faut-il rajouter des traitements spécifiques (filtrage) ?

Collections privées

• Première mise en place SUV :
  • pas encore utilisée
  • à étendre avec un partagr de données aux COIs (ex. large programmes)?

Vers plus de contenu L2/L3

• Comment inviter plus de soumissions : il faut que le PI ait un interet (Service ajouté: reduction, visualisation)
  
• MATISSE,GRAVITY reduction automatique avec stagiares?

Ancillary data

• première tentative entre L0 et L2 relié sur porgid et obs_id
  • ex. d'affichage des liens : http://oidb.jmmc.fr/show.html?id=1281061
  • ne relie que le premier L0 aux L2 puisque qu'un OIFIts ne fournit qu'un seul id à travers le keywords ARCFILE
  • un lien grosse maille sur la base du progid renvoit vers obsportal/ESOarchive
    • peut-on mieux restreindre sur obsportal avec un filtrage supplémentaire par target / date ?
  • du coup la meta donnée interferometer_stations des granules sera probablement plus simple à remplir depuis l'OIFits

Sollicitations utilisateurs:

Demande d'accès aux données sous embargo

4 demandes courant de l'été pour des données PIONIER

Dépôts de nouvelles données

select calib_level, obs_collection, subdate from oidb where subdate > DATE('2019-10-01') group by subdate, obs_collection, calib_level order by subdate DESC, obs_collection; 

calib_level	colname	pi	obs_collection	subdate
0	VEGA Import	Denis Mourard	http://oidb.jmmc.fr/search.html?collection=vegaobs_import	2020-09-30 23:11:08.809552
0	ESO VLTI import	ESO USD	http://oidb.jmmc.fr/search.html?collection=eso_vlti_import	2020-09-22 04:02:27.785446
2	Kappa Tuc	Florian Kirchschlager	http://oidb.jmmc.fr/search.html?collection=faa4f229-65a1-4058-a4f2-2965a140586a	2020-09-21 09:15:10.790579
2	Kappa Tuc	Florian Kirchschlager	http://oidb.jmmc.fr/search.html?collection=faa4f229-65a1-4058-a4f2-2965a140586a	2020-09-21 09:07:51.720362
2	Imaging Contests (2004, 2006, 2008 and 2010)	Xavier Haubois	http://oidb.jmmc.fr/search.html?collection=7f7fb9ed-350b-415b-bfb9-ed350b515b8c	2020-09-18 03:12:15.456523
3	pi1 Gruis PIONIER	Claudia Paladini	http://oidb.jmmc.fr/search.html?collection=19f7e2cf-2a03-4bb2-b7e2-cf2a03bbb245	2020-09-01 21:57:21.206402
2	PIONIER	Jean-Baptiste Le Bouquin	http://oidb.jmmc.fr/search.html?collection=PIONIER	2020-08-28 09:06:07.115448
3	iot Peg	Narsireddy Anugu	http://oidb.jmmc.fr/search.html?collection=fac164e1-d9d0-4500-8164-e1d9d0450099	2020-07-30 09:35:19.204697
0	ESO VLTI import	ESO USD	http://oidb.jmmc.fr/search.html?collection=eso_vlti_import	2020-06-22 07:29:23.679696
0	ESO VLTI import	ESO USD	http://oidb.jmmc.fr/search.html?collection=eso_vlti_import	2020-06-22 07:26:47.30545
0	ESO VLTI import	ESO USD	http://oidb.jmmc.fr/search.html?collection=eso_vlti_import	2020-06-22 07:25:30.992352
0	ESO VLTI import	ESO USD	http://oidb.jmmc.fr/search.html?collection=eso_vlti_import	2020-06-22 07:24:02.723438
0	ESO VLTI import	ESO USD	http://oidb.jmmc.fr/search.html?collection=eso_vlti_import	2020-06-22 07:22:39.567327
0	ESO VLTI import	ESO USD	http://oidb.jmmc.fr/search.html?collection=eso_vlti_import	2020-06-22 07:21:32.70979
0	ESO VLTI import	ESO USD	http://oidb.jmmc.fr/search.html?collection=eso_vlti_import	2020-06-22 07:19:10.148633
0	ESO VLTI import	ESO USD	http://oidb.jmmc.fr/search.html?collection=eso_vlti_import	2020-06-22 07:17:27.410078
0	ESO VLTI import	ESO USD	http://oidb.jmmc.fr/search.html?collection=eso_vlti_import	2020-06-22 07:16:20.041915
0	ESO VLTI import	ESO USD	http://oidb.jmmc.fr/search.html?collection=eso_vlti_import	2020-06-22 07:15:14.783906
0	ESO VLTI import	ESO USD	http://oidb.jmmc.fr/search.html?collection=eso_vlti_import	2020-06-22 07:09:33.788779
3	CL Lac	Andrea Chiavassa	http://oidb.jmmc.fr/search.html?collection=3d64620d-a152-4e75-9bc4-c68735d293b1	2020-06-16 08:35:29.110245
3	Keiichi Ohnaka	Keiichi Ohnaka	http://oidb.jmmc.fr/search.html?collection=6cfa202a-e35c-458c-837e-c512e73c3e45	2019-10-08 17:41:07.746961

• KappaTuc : http://oidb.jmmc.fr/search.html?collection=~faa4f229-65a1-4058-a4f2-2965a140586a
  • "OIFITS V2"
  • aurait du être SUV !
  • on note que le dépôt s'est fait en 2 fois
  • -> oubli du progid pour certaines granules : c'est maintenant automatique pour progid et obs_id (si dans le fichier format ESO)
  • passage en L3 opéré par script avec correction/complement d'info.
    • c'est un premier cas, mais la question se pose sur le cycle de vie de données pour passer de L2 -> L3 . Plus de cas à venir avec SUV.
• Keiichi Ohnaka
  • -> nom de collection à corriger
  • formulaire modifié suite à une remarque sur le même point de Florian Kirchschlager
• les données des précédents contests ( http://oidb.jmmc.fr/search.html?collection=~7f7fb9ed-350b-415b-bfb9-ed350b515b8c)
  • -> la question du mélange sur les données 'simulées' /observées se pose ?
• pi1 Gruis PIONIER
  • Manque obs-id progid dans l'OIFITS -> pas de lien ancillary.
    • -> fournir une liste de suggestions à l'utilisateur pour aider à remplir les champs obs_id et progid vide lors de la soumission
• Et deux collection CHARA MIRCx !

Synchro collections externes

• VEGAOBS : synchro mensuelle toujours ok (mode reset)
• CHARA L0 : Changement de méthode en cours : Jeremy J. va déposer le complément pour les L0. Validé sur oidb-beta. Etait initialement alimentée manuellement par tech-group depuis un fichier CSV fournit par Chris F.
• ObsPortal : synchro quotidienne (mode incrémental)
  • synchro Archive ESO & ObsPortal 2x/jour
• PIONIER : flush général fin aout. plus de meta données et à jour (cf maj ci-dessus)

Evolution ObsLog et Granules

Prochaines étapes OiDB

• MAJ de la doc ?
• Mettre plus en avant l'interface TAP (URL + enregistrement dans le Regristry VO ) / reste à fixer un problème technique sur les jobs asynchrones
• Amélioration / bugfix :
  • soumission : fixer le insmod + ajout md5
  • ergonomie
    • page collection : table pas commode pas de details...
    • page collections : mettre en avant le côté L2 vs L3 ?
    • page recherche : proposer un champ supplémentaire de trie par date de publication de données ? -> permet de voir les enregistrements les plus récents : par ex : http://oidb.jmmc.fr/search.html?order=subdate&caliblevel=1%2C2%2C3
    • page recherche : rajouter un bouton show all colums ? pour avoir : http://oidb.jmmc.fr/search.html?all=&collection=faa4f229-65a1-4058-a4f2-2965a140586a
    • mettre en avant les données utilisateur une fois loggué & afficher les données lockées.
  • amélioration robustesse (un pb identifié). et peut-etre performance ?
  • répercuter le modifs de release_date des L0 sur les L2 (possible d'après les annonces ESO)
  • Laisser éditable certains champs après soumissions ? ex description collection...
• Nouveaux plots : timetable ?

Autres projets "databases"

projet SPICA

• porté par l'OCA / Denis, aide jmmc-tech-group à l'étude

JSDC V2.5

• pourrait faire partie d'un lot de services raccroché à un service de catalogues VO TAP ( et OiDB pourrait lui aussi migrer / se modulariser )

Actions/ remarques:

• [/] Mettre un warning sur les données associées à des progid préfixés par 60.A -> temps technique & controle qualité réduit
  • par ex : http://oidb.jmmc.fr/search.html?perpage=25&progid=~60.A&order=t_min
  • A terme essayer de récupérer sur ObsPortal les information de qualité depuis l'archive ESO
• [/] Metter un warning sur les données de simulations voir sur quel metadonnées s'appuyer : . calib_level,instrument_name/instrument_mode(SIMULATION), *quality_flag* -> indication posée lors de la soumission
  • par ex.: http://oidb.jmmc.fr/search.html?perpage=25&collection=~7f7fb9ed-350b-415b-bfb9-ed350b515b8c&order=t_min
• [/] déplacer en haut de page le lien de saisie de commentaire
  • étendre aux fichiers / collections ?
  • [X] bug fix qui empêchait les commentaires : amélioration interface encore possible (sans etre loggué il faut cliquer deux fois sur add comment. La premiere demande la bannière de login, la second affiche le champ de saisie)
• [X] réorganiser la présentation des collections -> arborescence calib_level / [ coltype ] dans le formulaire de recherche
• [] developper les release notes et faire un lien vers la doc
• [X] rajouter une checkbox, display all collumns
• [X] Formulaire de recherche: Position renommé Object
• [X]assouplissement de la contrainte unique obs_id aux collections : limitée au L0
• [] Problème des noms de targets inconnu. Ex kapTuc . Proposition d'imposer l'une des suggestion venant de Simbadmodulo la conservation des coordonnées originales ? à discuter
• [] Le problème des d'ID de target inconnu est malheureusement trop fréquent y compris venant de ObsPortal donc Archive ESO.
  • Possibilité de faire des corrections dans un deuxieme temps. en mode 'automatique'
• [] élargir le depot de données suv à une notion pour tous appelée 'privée' : 'suv' n'est pas parlant pour un user ...
• [] preparer un tutoriel vidéo en amont de l'annonce Olbin
• [] intégrer à l'annonce les remarque de l'AG pour encourager plus de partage de données
• [] Continuer d'encourager l'openscience ! -> faire un point specifique pour arriver à engager la communauté dans le partage de données d'archive -> point AG
  • le CDS pourrait mettre en avant dans SimBad la présence de données publiées d'OiDB notamment dans les external archives. Reconnecter avec Sebastien Derriere?
• Avoir un service TAP centralisé permettrai de recroiser les données sciences à travers leurs calibrateurs en lien avec les mesures JSDC en plus de donner un accès centralisé à l'ensemble des services pour une target donnée.
• [] plot de frequentations dans le dashboard (plutôt que log des visites et downloads)
  • cf dashboard kibana avec les backend oidb ou oidb-beta (fournir un lien)
• [] plan pour organiser la reduction automatique MATISSE/GRAVITY, meeting a organiser avec consortium...

Depuis la réunion du 2:

• deux fichiers distincts de la collection kappa tuc ont les memes obs_id
  • rediscuter de l'unicité des obs_id -> la base à une contrainte qu'il faudrait assouplir : par instrument_mode ?
  • Fait cf action ci-dessus
• suite à un petite modif, la version en cours d'Aspro2 pourra récupérer les targets d'une recherche OiDB (par progid par ex.)
  • aucune conf instr. ou facility n'est transmise pour l'instant
  • Attention ca marche mais Aspro2 plante si la votable d'entrée comporte trop d'enregistrements.. laisse-t'on dans les mains de l'utilisateur ? Imaginer un timeout (limite mem?) sur les actions declanchées par samp ?

Analyse targets

Sur la base des 1515 identifiants différents pour les L2/L3, une première analyse rapide montre les nombreux mauvais identifiants utilisés sur OiDB (certains listés ci-dessous sont peut-etre ok avec une casse différente).

• Collection PIONIER: de nombreux suffix _bad :

  DELTA_SCO_bad, HD100546_bad, HD10700_bad, HD116244_bad, HD141943_bad, HD14228_bad, HD152247_bad, HD152649_bad, 
  HD154486_bad, HD154503_bad, HD20794_bad, HD214623_bad, HD224392_bad, HD39014_bad, HD42342_bad, HD44760_bad, HD44800_bad, HD80603_bad, HD85849_bad, HIP79672_bad, HIP88942_bad, 
  HIP92839_bad, Proxima_Cen_bad, Proxima_Centauri_bad, SAO_206462_bad, V1000_SCO_bad

• 99 mauvais identifiant L2 :

  15Lmi_G0.5[Calib, 20_23_30_730_20_46_04_100, 2MASS1229099+0154464, 30Eta_Leo_A0[Tar, 8_Leo_K1[Calib], ABAur, AHSco, AISco, AX-Cir, Alp_Vic, B02_HD168723, B02_HD182709, B02_HD209688, 
  B02_HD45669, B02_HD87837, BSC1948, Bet_Vic, Binary18_128_0.1, CCDM-J16054-1948AB, CICam, COUPJ053516, Cl_Westerlund_1_W_243, EM_MWC_297, EM_MWC_300, EM_SR_24S, EM__SR21, 
  EPS-CRu, FKV0497, FKV0745, FKV1137, GJ_54_1, GL54_1, GXMon, Gaia19lbd, Gam_Vic, HD68978A, INTERNAL, LTT-9682, M05_HD117597, M05_HD198698, M05_HD26575, M05_HD26595, M05_HD27804, 
  M05_HD44621, M05_HD54792, M05_HD72913, MIR0001, Mystery, NAME-PEACOCK, NAME-SADALMELIK, No_name, PDS_144S, PDS_144s, PLASKETT, PSGem, Q1_ERI, RAqr, RCar, RCrA, RCrt, RScl, RYTau, 
  SCI_88Aqr_HD218594, SCI_HD150136, SCI_alfAqr_HD209750, SCI_delPsc_HD4656, SCI_etaCet_HD6805, SCI_gamAql_HD186791, SCI_iotCet_HD1522, SCI_nuCet_HD12274, SCI_phiAqr_HD219215, SCI_tauAqr_HD216032, 
  TYC-8434-1026-1, UMon, UNKNOWN, UYSct, V*-RT-Cet, V-UX-Ori, V-V1818-Ori, VCQTau, VDGTau, VFUOri, VLLOri, V_V856_Sco, WInd, ZCMaFUOr, ZCMaHBe, alpha1Cru, alpha2Cru, b02Aqr, betCMa, betVol, betaCar, cicam, 
  epsSgr, eta-Tuc, omi_gem_F3[Targe, sao81568_MIII[Ca, thetaSco

  • On peut noter des suffixes [calib [Target] pour d'anciennes données IOTA ou le prefix SCI pour ce qui semble technique en plus de INTERNAL No_name, Mystery ou UNKNOWN...
• 49 en L3 :

  89her_E0-G0-H0_0, AKSco, CQTau, CRCha, CUCha, CV-Cha, Circinus, DKCha, DRTau, Elias-24, FKV1468, GM-Aur, Gamma, Glass-I, HD-104237, HD-109085, HD-144668, HD-68273, HDN163376, 
  HDN169916, HDN177716, LHa-332-17, M17 SW IRS1, M17 UC1, MIR0003, Mon R2 IRS2, Mon R2 IRS3 A, Mon R2 IRS3 B, NGC 2264 IRS1, Orion BN, R-Cra, RYTau, S255 IRS3, SR21, SR24N, SS-Lep, SU-Aur, T-Cha, UX-Ori, 
  V1247-Ori, V892-Tau, WWCha, hd-38120, hd165524_E0-G0-H, kapTuc, rdor, rulup, ss-lep, tcra

Une nouvelle version d'OiVal montre maintenant une petit icone rouge ou verte en fonction de la validité du nom. Les propositions retrouvées par coordonnées sont affichées dans le tooltip.