-- Guillaume Mella - 2020-10-01

2 Octobre 2020

Principales nouvelles fonctionnalités

Ca a bien bougé depuis début septembre : oidb est parfois même en avance sur oidb-beta.

-> un peu plus de détail dans les releases notes

Moisson ObsPortal

  • permet le lien L0<->L2,3, traitement des release_dates VLTI
    • à mené à corriger les releases dates de la collection PIONIER (des fichiers ayant les infos progid et obs_id / en fonction de la version du DRS)
  • Initialement obs_released_date=t_min+1an. On voit maintenant que certaines données sans embargo sont libérées immédiatement, d'autres au bout de plus d'un an (souvent 2~):
    pionier_fixed_release_dates.png
  • On commence à avoir plus d'info pour des vérifications
    • par ex: en verifiant que les obs_id des fichiers appartiennent bien au même progid que les obslogs:
oidb=> select granule.obs_id, granule.progid as granule_progid, obslog.progid as granule_progid, granule.obs_release_date as granule_release_date, obslog.obs_release_date as obslog_release_date from oidb as granule INNER JOIN oidb as obslog ON granule.obs_id=SPLIT_PART(obslog.obs_id,'_',1) AND NOT granule.progid = obslog.progid AND granule.calib_level>0 and obslog.calib_level=0 ;
            obs_id             | granule_progid | granule_progid | granule_release_date  | obslog_release_date 
-------------------------------+----------------+----------------+-----------------------+---------------------
 PIONI.2014-11-30T01:19:06.730 | 094.C-0175(A)  | 094.D-0624(B)  | 2015-11-30 01:17:47.3 | 2015-11-30 02:26:10
 PIONI.2014-11-30T01:41:35.326 | 094.C-0175(A)  | 094.D-0320(A)  | 2015-11-30 01:40:16.2 | 2015-11-30 02:51:06
 PIONI.2018-06-09T06:07:20.030 | 60.A-9800(X)   | 0101.B-0576(I) | 2019-06-09 06:27:47.6 | 2019-06-09 10:15:29
(3 lignes)

Amélioration de la protection des données sous embargo

  • les datalinks sont maintenant eux aussi couverts
  • le traitements est un peu complexe puisque certaines données (pdf) sont partagées entre plusieurs OIFits ayant des releases dates =
    • la date la plus lointaine est retenue
  • on constate des données 'non science' : calibrateurs, obs de test, commissioning...
    • faut-il rajouter des traitements spécifiques (filtrage) ?

Collections privées

  • Première mise en place SUV :
    • pas encore utilisée frown
    • à étendre avec un partagr de données aux COIs (ex. large programmes)?

Vers plus de contenu L2/L3

  • Comment inviter plus de soumissions : il faut que le PI ait un interet (Service ajouté: reduction, visualisation)
  • MATISSE,GRAVITY reduction automatique avec stagiares?

Ancillary data

  • première tentative entre L0 et L2 relié sur porgid et obs_id
    • ex. d'affichage des liens : http://oidb.jmmc.fr/show.html?id=1281061
    • ne relie que le premier L0 aux L2 puisque qu'un OIFIts ne fournit qu'un seul id à travers le keywords ARCFILE
    • un lien grosse maille sur la base du progid renvoit vers obsportal/ESOarchive
      • peut-on mieux restreindre sur obsportal avec un filtrage supplémentaire par target / date ?
    • du coup la meta donnée interferometer_stations des granules sera probablement plus simple à remplir depuis l'OIFits

Sollicitations utilisateurs:

Demande d'accès aux données sous embargo

4 demandes courant de l'été pour des données PIONIER

Dépôts de nouvelles données

select calib_level, obs_collection, subdate from oidb where subdate > DATE('2019-10-01') group by subdate, obs_collection, calib_level order by subdate DESC, obs_collection; 

calib_level colname pi obs_collection subdate
0 VEGA Import Denis Mourard http://oidb.jmmc.fr/search.html?collection=vegaobs_import 2020-09-30 23:11:08.809552
0 ESO VLTI import ESO USD http://oidb.jmmc.fr/search.html?collection=eso_vlti_import 2020-09-22 04:02:27.785446
2 Kappa Tuc Florian Kirchschlager http://oidb.jmmc.fr/search.html?collection=faa4f229-65a1-4058-a4f2-2965a140586a 2020-09-21 09:15:10.790579
2 Kappa Tuc Florian Kirchschlager http://oidb.jmmc.fr/search.html?collection=faa4f229-65a1-4058-a4f2-2965a140586a 2020-09-21 09:07:51.720362
2 Imaging Contests (2004, 2006, 2008 and 2010) Xavier Haubois http://oidb.jmmc.fr/search.html?collection=7f7fb9ed-350b-415b-bfb9-ed350b515b8c 2020-09-18 03:12:15.456523
3 pi1 Gruis PIONIER Claudia Paladini http://oidb.jmmc.fr/search.html?collection=19f7e2cf-2a03-4bb2-b7e2-cf2a03bbb245 2020-09-01 21:57:21.206402
2 PIONIER Jean-Baptiste Le Bouquin http://oidb.jmmc.fr/search.html?collection=PIONIER 2020-08-28 09:06:07.115448
3 iot Peg Narsireddy Anugu http://oidb.jmmc.fr/search.html?collection=fac164e1-d9d0-4500-8164-e1d9d0450099 2020-07-30 09:35:19.204697
0 ESO VLTI import ESO USD http://oidb.jmmc.fr/search.html?collection=eso_vlti_import 2020-06-22 07:29:23.679696
0 ESO VLTI import ESO USD http://oidb.jmmc.fr/search.html?collection=eso_vlti_import 2020-06-22 07:26:47.30545
0 ESO VLTI import ESO USD http://oidb.jmmc.fr/search.html?collection=eso_vlti_import 2020-06-22 07:25:30.992352
0 ESO VLTI import ESO USD http://oidb.jmmc.fr/search.html?collection=eso_vlti_import 2020-06-22 07:24:02.723438
0 ESO VLTI import ESO USD http://oidb.jmmc.fr/search.html?collection=eso_vlti_import 2020-06-22 07:22:39.567327
0 ESO VLTI import ESO USD http://oidb.jmmc.fr/search.html?collection=eso_vlti_import 2020-06-22 07:21:32.70979
0 ESO VLTI import ESO USD http://oidb.jmmc.fr/search.html?collection=eso_vlti_import 2020-06-22 07:19:10.148633
0 ESO VLTI import ESO USD http://oidb.jmmc.fr/search.html?collection=eso_vlti_import 2020-06-22 07:17:27.410078
0 ESO VLTI import ESO USD http://oidb.jmmc.fr/search.html?collection=eso_vlti_import 2020-06-22 07:16:20.041915
0 ESO VLTI import ESO USD http://oidb.jmmc.fr/search.html?collection=eso_vlti_import 2020-06-22 07:15:14.783906
0 ESO VLTI import ESO USD http://oidb.jmmc.fr/search.html?collection=eso_vlti_import 2020-06-22 07:09:33.788779
3 CL Lac Andrea Chiavassa http://oidb.jmmc.fr/search.html?collection=3d64620d-a152-4e75-9bc4-c68735d293b1 2020-06-16 08:35:29.110245
3 Keiichi Ohnaka Keiichi Ohnaka http://oidb.jmmc.fr/search.html?collection=6cfa202a-e35c-458c-837e-c512e73c3e45 2019-10-08 17:41:07.746961

  • KappaTuc : http://oidb.jmmc.fr/search.html?collection=~faa4f229-65a1-4058-a4f2-2965a140586a
    • "OIFITS V2"
    • aurait du être SUV !
    • on note que le dépôt s'est fait en 2 fois
    • -> oubli du progid pour certaines granules : c'est maintenant automatique pour progid et obs_id (si dans le fichier format ESO)
    • passage en L3 opéré par script avec correction/complement d'info.
      • c'est un premier cas, mais la question se pose sur le cycle de vie de données pour passer de L2 -> L3 . Plus de cas à venir avec SUV.
  • Keiichi Ohnaka
    • -> nom de collection à corriger
    • formulaire modifié suite à une remarque sur le même point de Florian Kirchschlager
  • les données des précédents contests ( http://oidb.jmmc.fr/search.html?collection=~7f7fb9ed-350b-415b-bfb9-ed350b515b8c)
    • -> la question du mélange sur les données 'simulées' /observées se pose ?
  • pi1 Gruis PIONIER
    • Manque obs-id progid dans l'OIFITS -> pas de lien ancillary.
      • -> fournir une liste de suggestions à l'utilisateur pour aider à remplir les champs obs_id et progid vide lors de la soumission
  • Et deux collection CHARA MIRCx !

Synchro collections externes

  • VEGAOBS : synchro mensuelle toujours ok (mode reset)
  • CHARA L0 : Changement de méthode en cours : Jeremy J. va déposer le complément pour les L0. Validé sur oidb-beta. Etait initialement alimentée manuellement par tech-group depuis un fichier CSV fournit par Chris F.
  • ObsPortal : synchro quotidienne (mode incrémental)
  • PIONIER : flush général fin aout. plus de meta données et à jour (cf maj ci-dessus)

Evolution ObsLog et Granules

  • Evolution L0:
    L0-2020-10-02.png

  • Evolution granules:
    nopionier_time.pngpionier_time.png

Prochaines étapes OiDB

  • MAJ de la doc ?
  • Mettre plus en avant l'interface TAP (URL + enregistrement dans le Regristry VO ) / reste à fixer un problème technique sur les jobs asynchrones
  • Amélioration / bugfix :
    • soumission : fixer le insmod + ajout md5
    • ergonomie
    • amélioration robustesse (un pb identifié). et peut-etre performance ?
    • répercuter le modifs de release_date des L0 sur les L2 (possible d'après les annonces ESO)
    • Laisser éditable certains champs après soumissions ? ex description collection...
  • Nouveaux plots : timetable ?

Autres projets "databases"

projet SPICA

  • porté par l'OCA / Denis, aide jmmc-tech-group à l'étude

JSDC V2.5

  • pourrait faire partie d'un lot de services raccroché à un service de catalogues VO TAP ( et OiDB pourrait lui aussi migrer / se modulariser )

Actions/ remarques:

  • [/] Mettre un warning sur les données associées à des progid préfixés par 60.A -> temps technique & controle qualité réduit
  • [/] Metter un warning sur les données de simulations voir sur quel metadonnées s'appuyer : . calib_level,instrument_name/instrument_mode(SIMULATION), *quality_flag* -> indication posée lors de la soumission
  • [/] déplacer en haut de page le lien de saisie de commentaire
    • étendre aux fichiers / collections ?
    • [X] bug fix qui empêchait les commentaires : amélioration interface encore possible (sans etre loggué il faut cliquer deux fois sur add comment. La premiere demande la bannière de login, la second affiche le champ de saisie)
  • [X] réorganiser la présentation des collections -> arborescence calib_level / [ coltype ] dans le formulaire de recherche
  • [] developper les release notes et faire un lien vers la doc
  • [X] rajouter une checkbox, display all collumns
  • [X] Formulaire de recherche: Position renommé Object
  • [X]assouplissement de la contrainte unique obs_id aux collections : limitée au L0
  • [] Problème des noms de targets inconnu. Ex kapTuc . Proposition d'imposer l'une des suggestion venant de Simbadmodulo la conservation des coordonnées originales ? à discuter
  • [] Le problème des d'ID de target inconnu est malheureusement trop fréquent y compris venant de ObsPortal donc Archive ESO.
    • Possibilité de faire des corrections dans un deuxieme temps. en mode 'automatique'
  • [] élargir le depot de données suv à une notion pour tous appelée 'privée' : 'suv' n'est pas parlant pour un user ...
  • [] preparer un tutoriel vidéo en amont de l'annonce Olbin
  • [] intégrer à l'annonce les remarque de l'AG pour encourager plus de partage de données
  • [] Continuer d'encourager l'openscience ! -> faire un point specifique pour arriver à engager la communauté dans le partage de données d'archive -> point AG
    • le CDS pourrait mettre en avant dans SimBad la présence de données publiées d'OiDB notamment dans les external archives. Reconnecter avec Sebastien Derriere?
  • Avoir un service TAP centralisé permettrai de recroiser les données sciences à travers leurs calibrateurs en lien avec les mesures JSDC en plus de donner un accès centralisé à l'ensemble des services pour une target donnée.
  • [] plot de frequentations dans le dashboard (plutôt que log des visites et downloads)
    • cf dashboard kibana avec les backend oidb ou oidb-beta (fournir un lien)
  • [] plan pour organiser la reduction automatique MATISSE/GRAVITY, meeting a organiser avec consortium...

Depuis la réunion du 2:

  • deux fichiers distincts de la collection kappa tuc ont les memes obs_id
    • rediscuter de l'unicité des obs_id -> la base à une contrainte qu'il faudrait assouplir : par instrument_mode ?
    • Fait cf action ci-dessus
  • suite à un petite modif, la version en cours d'Aspro2 pourra récupérer les targets d'une recherche OiDB (par progid par ex.)
    • aucune conf instr. ou facility n'est transmise pour l'instant
    • Attention ca marche mais Aspro2 plante si la votable d'entrée comporte trop d'enregistrements.. laisse-t'on dans les mains de l'utilisateur ? Imaginer un timeout (limite mem?) sur les actions declanchées par samp ?

Analyse targets

Sur la base des 1515 identifiants différents pour les L2/L3, une première analyse rapide montre les nombreux mauvais identifiants utilisés sur OiDB (certains listés ci-dessous sont peut-etre ok avec une casse différente).

  • Collection PIONIER: de nombreux suffix _bad :
    DELTA_SCO_bad, HD100546_bad, HD10700_bad, HD116244_bad, HD141943_bad, HD14228_bad, HD152247_bad, HD152649_bad, 
    HD154486_bad, HD154503_bad, HD20794_bad, HD214623_bad, HD224392_bad, HD39014_bad, HD42342_bad, HD44760_bad, HD44800_bad, HD80603_bad, HD85849_bad, HIP79672_bad, HIP88942_bad, 
    HIP92839_bad, Proxima_Cen_bad, Proxima_Centauri_bad, SAO_206462_bad, V1000_SCO_bad
  • 99 mauvais identifiant L2 :
    15Lmi_G0.5[Calib, 20_23_30_730_20_46_04_100, 2MASS1229099+0154464, 30Eta_Leo_A0[Tar, 8_Leo_K1[Calib], ABAur, AHSco, AISco, AX-Cir, Alp_Vic, B02_HD168723, B02_HD182709, B02_HD209688, 
    B02_HD45669, B02_HD87837, BSC1948, Bet_Vic, Binary18_128_0.1, CCDM-J16054-1948AB, CICam, COUPJ053516, Cl_Westerlund_1_W_243, EM_MWC_297, EM_MWC_300, EM_SR_24S, EM__SR21, 
    EPS-CRu, FKV0497, FKV0745, FKV1137, GJ_54_1, GL54_1, GXMon, Gaia19lbd, Gam_Vic, HD68978A, INTERNAL, LTT-9682, M05_HD117597, M05_HD198698, M05_HD26575, M05_HD26595, M05_HD27804, 
    M05_HD44621, M05_HD54792, M05_HD72913, MIR0001, Mystery, NAME-PEACOCK, NAME-SADALMELIK, No_name, PDS_144S, PDS_144s, PLASKETT, PSGem, Q1_ERI, RAqr, RCar, RCrA, RCrt, RScl, RYTau, 
    SCI_88Aqr_HD218594, SCI_HD150136, SCI_alfAqr_HD209750, SCI_delPsc_HD4656, SCI_etaCet_HD6805, SCI_gamAql_HD186791, SCI_iotCet_HD1522, SCI_nuCet_HD12274, SCI_phiAqr_HD219215, SCI_tauAqr_HD216032, 
    TYC-8434-1026-1, UMon, UNKNOWN, UYSct, V*-RT-Cet, V-UX-Ori, V-V1818-Ori, VCQTau, VDGTau, VFUOri, VLLOri, V_V856_Sco, WInd, ZCMaFUOr, ZCMaHBe, alpha1Cru, alpha2Cru, b02Aqr, betCMa, betVol, betaCar, cicam, 
    epsSgr, eta-Tuc, omi_gem_F3[Targe, sao81568_MIII[Ca, thetaSco
    • On peut noter des suffixes [calib [Target] pour d'anciennes données IOTA ou le prefix SCI pour ce qui semble technique en plus de INTERNAL No_name, Mystery ou UNKNOWN...
  • 49 en L3 :
    89her_E0-G0-H0_0, AKSco, CQTau, CRCha, CUCha, CV-Cha, Circinus, DKCha, DRTau, Elias-24, FKV1468, GM-Aur, Gamma, Glass-I, HD-104237, HD-109085, HD-144668, HD-68273, HDN163376, 
    HDN169916, HDN177716, LHa-332-17, M17 SW IRS1, M17 UC1, MIR0003, Mon R2 IRS2, Mon R2 IRS3 A, Mon R2 IRS3 B, NGC 2264 IRS1, Orion BN, R-Cra, RYTau, S255 IRS3, SR21, SR24N, SS-Lep, SU-Aur, T-Cha, UX-Ori, 
    V1247-Ori, V892-Tau, WWCha, hd-38120, hd165524_E0-G0-H, kapTuc, rdor, rulup, ss-lep, tcra
Une seconde étape pourrait être de retrouver les identifiants valides sur la base des coordonées, demander au dataPis de retenir la bonne et l'appliquer comme correction...

Une nouvelle version d'OiVal montre maintenant une petit icone rouge ou verte en fonction de la validité du nom. Les propositions retrouvées par coordonnées sont affichées dans le tooltip.

Topic attachments
I Attachment History Action Size Date Who Comment
PNGpng L0-2020-10-02.png r1 manage 19.9 K 2020-10-02 - 06:57 GuillaumeMella evolution L0
PNGpng nopionier_time.png r1 manage 4.8 K 2020-10-02 - 06:58 GuillaumeMella evolution granules (sans PIONIER)
PNGpng pionier_fixed_release_dates.png r1 manage 14.9 K 2020-10-02 - 07:10 GuillaumeMella Correction released data fichiers PIONIER
PNGpng pionier_time.png r1 manage 5.6 K 2020-10-02 - 06:58 GuillaumeMella evolution granules (PIONIER uniquement)
Edit | Attach | Watch | Print version | History: r14 < r13 < r12 < r11 < r10 | Backlinks | Raw View | Raw edit | More topic actions
Topic revision: r14 - 2020-11-10 - GuillaumeMella
 
This site is powered by the TWiki collaboration platform Powered by PerlCopyright © 2008-2024 by the contributing authors. All material on this collaboration platform is the property of the contributing authors.
Ideas, requests, problems regarding TWiki? Send feedback