OiDbReunion02Octobre2020 < Jmmc/Software

Tags: view all tags
-- %USERSIG{GuillaumeMella - 2020-10-01}%
---+!! 2 Octobre 2020

%TOC%

---+ Principales nouvelles fonctionnalités

Ca a bien bougé depuis début septembre : oidb est parfois même en avance sur oidb-beta.

-&gt; un peu plus de détail dans les [[http://oidb.jmmc.fr/about.html][releases notes ]]
---++ Moisson ObsPortal
   * permet le lien L0&lt;-&gt;L2,3, traitement des release_dates VLTI
      * à mené à corriger les releases dates de la collection PIONIER (des fichiers ayant les infos progid et obs_id / en fonction de la version du DRS)
%TWISTY{id="obs_release_date" mode="div"}%
   * Initialement obs_released_date=t_min+1an. On voit maintenant que certaines données sans embargo sont libérées immédiatement, d'autres au bout de plus d'un an (souvent 2~): <br />
     <img alt="pionier_fixed_release_dates.png" height="464" src="%ATTACHURLPATH%/pionier_fixed_release_dates.png" width="1396" />
   * On commence à avoir plus d'info pour des vérifications
      * par ex: en verifiant que les obs_id des fichiers appartiennent bien au même progid que les obslogs:
<verbatim>oidb=> select granule.obs_id, granule.progid as granule_progid, obslog.progid as granule_progid, granule.obs_release_date as granule_release_date, obslog.obs_release_date as obslog_release_date from oidb as granule INNER JOIN oidb as obslog ON granule.obs_id=SPLIT_PART(obslog.obs_id,'_',1) AND NOT granule.progid = obslog.progid AND granule.calib_level>0 and obslog.calib_level=0 ;
            obs_id             | granule_progid | granule_progid | granule_release_date  | obslog_release_date 
-------------------------------+----------------+----------------+-----------------------+---------------------
 PIONI.2014-11-30T01:19:06.730 | 094.C-0175(A)  | 094.D-0624(B)  | 2015-11-30 01:17:47.3 | 2015-11-30 02:26:10
 PIONI.2014-11-30T01:41:35.326 | 094.C-0175(A)  | 094.D-0320(A)  | 2015-11-30 01:40:16.2 | 2015-11-30 02:51:06
 PIONI.2018-06-09T06:07:20.030 | 60.A-9800(X)   | 0101.B-0576(I) | 2019-06-09 06:27:47.6 | 2019-06-09 10:15:29
(3 lignes)</verbatim>

%ENDTWISTY%

---++ Amélioration de la protection des données sous embargo
   * les datalinks sont maintenant eux aussi couverts
   * le traitements est un peu complexe puisque certaines données (pdf) sont partagées entre plusieurs OIFits ayant des releases dates !=
      * la date la plus lointaine est retenue
   * on constate des données 'non science' : calibrateurs, obs de test, commissioning...
      * faut-il rajouter des traitements spécifiques (filtrage) ?
---++ Collections privées
   * Première mise en place SUV :
      * pas encore utilisée :(
      * à étendre avec un partagr de données aux COIs (ex. large programmes)?
---++ Vers plus de contenu L2/L3
   * Comment inviter plus de soumissions : <b>il faut que le PI ait un interet (Service ajouté: reduction, visualisation)<br /></b>
   * MATISSE,GRAVITY reduction automatique avec stagiares?
---++ Ancillary data
   * première tentative entre L0 et L2 relié sur porgid et obs_id
      * ex. d'affichage des liens : [[http://oidb.jmmc.fr/show.html?id=1281061]]
      * ne relie que le premier L0 aux L2 puisque qu'un OIFIts ne fournit qu'un seul id à travers le keywords ARCFILE
      * un lien grosse maille sur la base du progid renvoit vers obsportal/ESOarchive
         * peut-on mieux restreindre sur obsportal avec un filtrage supplémentaire par target / date ?
      * du coup la meta donnée =interferometer_stations= des granules sera probablement plus simple à remplir depuis l'OIFits

---+ Sollicitations utilisateurs:
---++ Demande d'accès aux données sous embargo

4 demandes courant de l'été pour des données PIONIER

---++ Dépôts de nouvelles données
<verbatim>select calib_level, obs_collection, subdate from oidb where subdate > DATE('2019-10-01') group by subdate, obs_collection, calib_level order by subdate DESC, obs_collection; </verbatim>

%TWISTY{id="col_releases" mode="div"}%

| calib_level |  colname | pi | obs_collection  | subdate  |
| 0 | VEGA Import | Denis Mourard  | http://oidb.jmmc.fr/search.html?collection=vegaobs_import  | 2020-09-30 23:11:08.809552 |
| 0 | ESO VLTI import | ESO USD  | http://oidb.jmmc.fr/search.html?collection=eso_vlti_import  | 2020-09-22 04:02:27.785446 |
|  2 | Kappa Tuc | Florian Kirchschlager  | http://oidb.jmmc.fr/search.html?collection=faa4f229-65a1-4058-a4f2-2965a140586a | 2020-09-21 09:15:10.790579 |
|  2 | Kappa Tuc | Florian Kirchschlager  | http://oidb.jmmc.fr/search.html?collection=faa4f229-65a1-4058-a4f2-2965a140586a | 2020-09-21 09:07:51.720362 |
|  2 | Imaging Contests (2004, 2006, 2008 and 2010) | Xavier Haubois  | http://oidb.jmmc.fr/search.html?collection=7f7fb9ed-350b-415b-bfb9-ed350b515b8c | 2020-09-18 03:12:15.456523 |
|  3 | pi1 Gruis PIONIER | Claudia Paladini | http://oidb.jmmc.fr/search.html?collection=19f7e2cf-2a03-4bb2-b7e2-cf2a03bbb245 | 2020-09-01 21:57:21.206402 |
|  2 | PIONIER | Jean-Baptiste Le Bouquin  | http://oidb.jmmc.fr/search.html?collection=PIONIER  | 2020-08-28 09:06:07.115448 |
|  3 | iot Peg | Narsireddy Anugu  | http://oidb.jmmc.fr/search.html?collection=fac164e1-d9d0-4500-8164-e1d9d0450099 | 2020-07-30 09:35:19.204697 |
| 0 | ESO VLTI import | ESO USD  | http://oidb.jmmc.fr/search.html?collection=eso_vlti_import  | 2020-06-22 07:29:23.679696 |
| 0 | ESO VLTI import | ESO USD  | http://oidb.jmmc.fr/search.html?collection=eso_vlti_import  | 2020-06-22 07:26:47.30545 |
| 0 | ESO VLTI import | ESO USD  | http://oidb.jmmc.fr/search.html?collection=eso_vlti_import  | 2020-06-22 07:25:30.992352 |
| 0 | ESO VLTI import | ESO USD  | http://oidb.jmmc.fr/search.html?collection=eso_vlti_import  | 2020-06-22 07:24:02.723438 |
| 0 | ESO VLTI import | ESO USD  | http://oidb.jmmc.fr/search.html?collection=eso_vlti_import  | 2020-06-22 07:22:39.567327 |
| 0 | ESO VLTI import | ESO USD  | http://oidb.jmmc.fr/search.html?collection=eso_vlti_import  | 2020-06-22 07:21:32.70979 |
| 0 | ESO VLTI import | ESO USD  | http://oidb.jmmc.fr/search.html?collection=eso_vlti_import  | 2020-06-22 07:19:10.148633 |
| 0 | ESO VLTI import | ESO USD  | http://oidb.jmmc.fr/search.html?collection=eso_vlti_import  | 2020-06-22 07:17:27.410078 |
| 0 | ESO VLTI import | ESO USD  | http://oidb.jmmc.fr/search.html?collection=eso_vlti_import  | 2020-06-22 07:16:20.041915 |
| 0 | ESO VLTI import | ESO USD  | http://oidb.jmmc.fr/search.html?collection=eso_vlti_import  | 2020-06-22 07:15:14.783906 |
| 0 | ESO VLTI import | ESO USD  | http://oidb.jmmc.fr/search.html?collection=eso_vlti_import  | 2020-06-22 07:09:33.788779 |
|  3 | CL Lac | Andrea Chiavassa  | http://oidb.jmmc.fr/search.html?collection=3d64620d-a152-4e75-9bc4-c68735d293b1 | 2020-06-16 08:35:29.110245 |
|  3 | Keiichi Ohnaka | Keiichi Ohnaka  | http://oidb.jmmc.fr/search.html?collection=6cfa202a-e35c-458c-837e-c512e73c3e45 | 2019-10-08 17:41:07.746961 |
%ENDTWISTY%

   * !KappaTuc : [[http://oidb.jmmc.fr/search.html?collection=~faa4f229-65a1-4058-a4f2-2965a140586a]]
      * "OIFITS V2"
      * aurait du être SUV !
      * on note que le dépôt s'est fait en 2 fois
      * -&gt; oubli du progid pour certaines granules : c'est maintenant automatique pour progid et obs_id (si dans le fichier format ESO)
      * passage en L3 opéré par script avec correction/complement d'info.
         * c'est un premier cas, mais la question se pose sur le cycle de vie de données pour passer de L2 -&gt; L3 . Plus de cas à venir avec SUV.
   * Keiichi Ohnaka
      * -&gt; nom de collection à corriger
      * formulaire modifié suite à une remarque sur le même point de Florian Kirchschlager
   * les données des précédents contests ( [[http://oidb.jmmc.fr/search.html?collection=~7f7fb9ed-350b-415b-bfb9-ed350b515b8c]])
      * -&gt; la question du mélange sur les données 'simulées' /observées se pose ?
   * pi1 Gruis PIONIER
      * Manque obs-id progid dans l'OIFITS -&gt; pas de lien ancillary.
         * -&gt; fournir une liste de suggestions à l'utilisateur pour aider à remplir les champs obs_id et progid vide lors de la soumission
   * Et deux collection CHARA MIRCx !

---++ Synchro collections externes
   * VEGAOBS : synchro mensuelle toujours ok (mode reset)
   * CHARA L0 : Changement de méthode en cours : Jeremy J. va déposer le complément pour les L0. Validé sur oidb-beta. Etait initialement alimentée manuellement par tech-group depuis un fichier CSV fournit par Chris F.
   * ObsPortal : synchro quotidienne (mode incrémental)
      * synchro Archive ESO & ObsPortal 2x/jour
   * PIONIER : flush général fin aout. plus de meta données et à jour (cf maj ci-dessus)

---++ Evolution ObsLog et Granules

%TWISTY{id="new-data" mode="div"}%
   * Evolution L0: <br />
     <img alt="L0-2020-10-02.png" height="603" src="%ATTACHURLPATH%/L0-2020-10-02.png" width="1037" />

   * Evolution granules: <br />
     <img alt="nopionier_time.png" height="400" src="%ATTACHURLPATH%/nopionier_time.png" width="500" /><img alt="pionier_time.png" height="400" src="%ATTACHURLPATH%/pionier_time.png" width="500" />
%ENDTWISTY%

---+ Prochaines étapes OiDB
   * MAJ de la doc ?
   * Mettre plus en avant l'interface TAP (URL + enregistrement dans le Regristry VO ) / reste à fixer un problème technique sur les jobs asynchrones
   * Amélioration / bugfix :
      * soumission : fixer le insmod + ajout md5
      * ergonomie
         * page collection : table pas commode pas de details...
         * page collections : mettre en avant le côté L2 vs L3 ?
         * page recherche : proposer un champ supplémentaire de trie par date de publication de données ? -&gt; permet de voir les enregistrements les plus récents : par ex : http://oidb.jmmc.fr/search.html?order=subdate&caliblevel=1%2C2%2C3
         * page recherche : rajouter un bouton show all colums ? pour avoir : http://oidb.jmmc.fr/search.html?all=&collection=faa4f229-65a1-4058-a4f2-2965a140586a
         * mettre en avant les données utilisateur une fois loggué & afficher les données lockées.
      * amélioration robustesse (un pb identifié). et peut-etre performance ?
      * répercuter le modifs de release_date des L0 sur les L2 (possible d'après les annonces ESO)
      * Laisser éditable certains champs après soumissions ? ex description collection...
   * Nouveaux plots : timetable ?
---+ Autres projets "databases"
---++ projet SPICA

   * porté par l'OCA / Denis, aide jmmc-tech-group à l'étude
---++ JSDC V2.5
   * pourrait faire partie d'un lot de services raccroché à un service de catalogues VO TAP ( et OiDB pourrait lui aussi migrer / se modulariser )

---+ Actions/ remarques:
   * [/] Mettre un warning sur les données associées à des progid préfixés par 60.A -&gt; temps technique & controle qualité réduit
      * par ex : http://oidb.jmmc.fr/search.html?perpage=25&progid=~60.A&order=t_min
      * A terme essayer de récupérer sur ObsPortal les information de qualité depuis l'archive ESO
   * [/] Metter un warning sur les données de simulations voir sur quel metadonnées s'appuyer : . calib_level,instrument_name/instrument_mode(SIMULATION), <b>*quality_flag*</b> -&gt; indication posée lors de la soumission
      * par ex.: http://oidb.jmmc.fr/search.html?perpage=25&collection=~7f7fb9ed-350b-415b-bfb9-ed350b515b8c&order=t_min
   * [/] déplacer en haut de page le lien de saisie de commentaire
      * étendre aux fichiers / collections ?
      * [X] bug fix qui empêchait les commentaires : amélioration interface encore possible (sans etre loggué il faut cliquer deux fois sur add comment. La premiere demande la bannière de login, la second affiche le champ de saisie)
   * [X] réorganiser la présentation des collections -&gt; arborescence calib_level / [ coltype ] dans le formulaire de recherche
   * [] developper les release notes et faire un lien vers la doc
   * [X] rajouter une checkbox, display all collumns
   * [X] Formulaire de recherche: Position renommé Object
   * [X]assouplissement de la contrainte unique obs_id aux collections : limitée au L0
   * [] Problème des noms de targets inconnu. Ex kapTuc . Proposition d'imposer l'une des suggestion venant de Simbadmodulo la conservation des coordonnées originales ? à discuter
   * [] Le problème des d'ID de target inconnu est malheureusement trop fréquent y compris venant de ObsPortal donc Archive ESO.
      * Possibilité de faire des corrections dans un deuxieme temps. en mode 'automatique'
   * [] élargir le depot de données suv à une notion pour tous appelée 'privée' : 'suv' n'est pas parlant pour un user ...
   * [] preparer un tutoriel vidéo en amont de l'annonce Olbin
   * [] intégrer à l'annonce les remarque de l'AG pour encourager plus de partage de données
   * [] Continuer d'encourager l'openscience ! -&gt; faire un point specifique pour arriver à engager la communauté dans le partage de données d'archive -&gt; point AG
      * le CDS pourrait mettre en avant dans SimBad la présence de données publiées d'OiDB notamment dans les external archives. Reconnecter avec Sebastien Derriere?
   * Avoir un service TAP centralisé permettrai de recroiser les données sciences à travers leurs calibrateurs en lien avec les mesures JSDC en plus de donner un accès centralisé à l'ensemble des services pour une target donnée.
   * [] plot de frequentations dans le dashboard (plutôt que log des visites et downloads)
      * cf dashboard kibana avec les backend oidb ou oidb-beta (fournir un lien)
   * [] plan pour organiser la reduction automatique MATISSE/GRAVITY, meeting a organiser avec consortium...

Depuis la réunion du 2:
   * deux fichiers distincts de la collection kappa tuc ont les memes obs_id
      * rediscuter de l'unicité des obs_id -&gt; la base à une contrainte qu'il faudrait assouplir : par instrument_mode ?
      * Fait cf action ci-dessus
   * suite à un petite modif, la version en cours d'Aspro2 pourra récupérer les targets d'une recherche OiDB (par progid par ex.)
      * aucune conf instr. ou facility n'est transmise pour l'instant
      * Attention ca marche mais Aspro2 plante si la votable d'entrée comporte trop d'enregistrements.. laisse-t'on dans les mains de l'utilisateur ? Imaginer un timeout (limite mem?) sur les actions declanchées par samp ?

---++++ Analyse targets

Sur la base des 1515 identifiants différents pour les L2/L3, une première analyse rapide montre les nombreux mauvais identifiants utilisés sur OiDB (certains listés ci-dessous sont peut-etre ok avec une casse différente).
   * Collection PIONIER: de nombreux suffix _bad : <verbatim>DELTA_SCO_bad, HD100546_bad, HD10700_bad, HD116244_bad, HD141943_bad, HD14228_bad, HD152247_bad, HD152649_bad, 
HD154486_bad, HD154503_bad, HD20794_bad, HD214623_bad, HD224392_bad, HD39014_bad, HD42342_bad, HD44760_bad, HD44800_bad, HD80603_bad, HD85849_bad, HIP79672_bad, HIP88942_bad, 
HIP92839_bad, Proxima_Cen_bad, Proxima_Centauri_bad, SAO_206462_bad, V1000_SCO_bad</verbatim>
   * 99 mauvais identifiant L2 : <verbatim>15Lmi_G0.5[Calib, 20_23_30_730_20_46_04_100, 2MASS1229099+0154464, 30Eta_Leo_A0[Tar, 8_Leo_K1[Calib], ABAur, AHSco, AISco, AX-Cir, Alp_Vic, B02_HD168723, B02_HD182709, B02_HD209688, 
B02_HD45669, B02_HD87837, BSC1948, Bet_Vic, Binary18_128_0.1, CCDM-J16054-1948AB, CICam, COUPJ053516, Cl_Westerlund_1_W_243, EM_MWC_297, EM_MWC_300, EM_SR_24S, EM__SR21, 
EPS-CRu, FKV0497, FKV0745, FKV1137, GJ_54_1, GL54_1, GXMon, Gaia19lbd, Gam_Vic, HD68978A, INTERNAL, LTT-9682, M05_HD117597, M05_HD198698, M05_HD26575, M05_HD26595, M05_HD27804, 
M05_HD44621, M05_HD54792, M05_HD72913, MIR0001, Mystery, NAME-PEACOCK, NAME-SADALMELIK, No_name, PDS_144S, PDS_144s, PLASKETT, PSGem, Q1_ERI, RAqr, RCar, RCrA, RCrt, RScl, RYTau, 
SCI_88Aqr_HD218594, SCI_HD150136, SCI_alfAqr_HD209750, SCI_delPsc_HD4656, SCI_etaCet_HD6805, SCI_gamAql_HD186791, SCI_iotCet_HD1522, SCI_nuCet_HD12274, SCI_phiAqr_HD219215, SCI_tauAqr_HD216032, 
TYC-8434-1026-1, UMon, UNKNOWN, UYSct, V*-RT-Cet, V-UX-Ori, V-V1818-Ori, VCQTau, VDGTau, VFUOri, VLLOri, V_V856_Sco, WInd, ZCMaFUOr, ZCMaHBe, alpha1Cru, alpha2Cru, b02Aqr, betCMa, betVol, betaCar, cicam, 
epsSgr, eta-Tuc, omi_gem_F3[Targe, sao81568_MIII[Ca, thetaSco</verbatim>
      * On peut noter des suffixes [calib [Target] pour d'anciennes données IOTA ou le prefix SCI pour ce qui semble technique en plus de INTERNAL No_name, Mystery ou UNKNOWN...
   * 49 en L3 : <verbatim>89her_E0-G0-H0_0, AKSco, CQTau, CRCha, CUCha, CV-Cha, Circinus, DKCha, DRTau, Elias-24, FKV1468, GM-Aur, Gamma, Glass-I, HD-104237, HD-109085, HD-144668, HD-68273, HDN163376, 
HDN169916, HDN177716, LHa-332-17, M17 SW IRS1, M17 UC1, MIR0003, Mon R2 IRS2, Mon R2 IRS3 A, Mon R2 IRS3 B, NGC 2264 IRS1, Orion BN, R-Cra, RYTau, S255 IRS3, SR21, SR24N, SS-Lep, SU-Aur, T-Cha, UX-Ori, 
V1247-Ori, V892-Tau, WWCha, hd-38120, hd165524_E0-G0-H, kapTuc, rdor, rulup, ss-lep, tcra</verbatim>
Une seconde étape pourrait être de retrouver les identifiants valides sur la base des coordonées, demander au dataPis de retenir la bonne et l'appliquer comme correction...

Une nouvelle version d'OiVal montre maintenant une petit icone rouge ou verte en fonction de la validité du nom. Les propositions retrouvées par coordonnées sont affichées dans le tooltip.
Attachments
Topic attachments
I	Attachment	History	Action	Size	Date	Who	Comment
png	L0-2020-10-02.png	r1	manage	19.9 K	2020-10-02 - 06:57	GuillaumeMella	evolution L0
png	nopionier_time.png	r1	manage	4.8 K	2020-10-02 - 06:58	GuillaumeMella	evolution granules (sans PIONIER)
png	pionier_fixed_release_dates.png	r1	manage	14.9 K	2020-10-02 - 07:10	GuillaumeMella	Correction released data fichiers PIONIER
png	pionier_time.png	r1	manage	5.6 K	2020-10-02 - 06:58	GuillaumeMella	evolution granules (PIONIER uniquement)
Topic revision: r14 - 2020-11-10 - GuillaumeMella