(r1) OiDbReunion02Octobre2020 < Jmmc/Software

Tags: view all tags
-- %USERSIG{GuillaumeMella - 2020-10-01}%
---+!! 2 Octobre 2020

%TOC%

---+ Principales nouvelles fonctionnalités

Ca a bien bougé depuis début septembre : oidb est parfois même en avance sur oidb-beta.

-&gt; un peu plus de détail dans les [[http://oidb.jmmc.fr/about.html][releases notes ]]
---++ Moisson ObsPortal
   * permet le lien L0&lt;-&gt;L2,3, traitement des release_dates VLTI
      * à mené à corriger les releases dates de la collection PIONIER
---++ Amélioration de la protection des données sous embargo
   * les datalinks sont maintenant eux aussi couverts
   * le traitements est un peu complexe puisque certaines données (pdf) sont partagées entre plusieurs OIFits ayant des releases dates !=
      * la date la plus lointaine est retenue
   * on constate des données 'non science' : calibrateurs, obs de test, commissioning...
      * faut-il rajouter des traitements spécifiques (filtrage) ?
---++ Collections privées
   * Première mise en place SUV :
      * pas encore utilisée :(
      * à étendre avec un partagr de données aux COIs ?
---++ Ancillary data
   * première tentative entre L0 et L2 relié sur porgid et obs_id
      * ex. d'affichage des liens : [[http://oidb.jmmc.fr/show.html?id=1281061]]
      * ne relie que le premier L0 aux L2 puisque qu'un OIFIts ne fournit qu'un seul id à travers le keywords ARCFILE
      * un lien grosse maille sur la base du progid renvoit vers obsportal/ESOarchive
         * peut-on mieux restreindre sur obsportal avec un filtrage supplémentaire par target / date ?
      * du coup la meta donnée  =interferometer_stations= des granules sera probablement plus simple à remplir depuis l'OIFits

---+ Sollicitations utilisateurs:
---++ Demande d'accès aux données sous embargo

4 demandes courant de l'été pour des données PIONIER
---++ Dépôts de nouvelles données
<verbatim>oidb=&gt; select calib_level, obs_collection, subdate from oidb where subdate &gt; DATE('2019-10-01') group by subdate, obs_collection, calib_level order by subdate DESC, obs_collection; </verbatim>
| calib_level |  colname | pi | obs_collection  | subdate  |
| 0 | VEGA Import | Denis Mourard  | http://oidb.jmmc.fr/search.html?collection=vegaobs_import  | 2020-09-30 23:11:08.809552 |
| 0 | ESO VLTI import | ESO USD  | http://oidb.jmmc.fr/search.html?collection=eso_vlti_import  | 2020-09-22 04:02:27.785446 |
|  2 | Kappa Tuc | Florian Kirchschlager  | http://oidb.jmmc.fr/search.html?collection=faa4f229-65a1-4058-a4f2-2965a140586a | 2020-09-21 09:15:10.790579 |
|  2 | Kappa Tuc | Florian Kirchschlager  | http://oidb.jmmc.fr/search.html?collection=faa4f229-65a1-4058-a4f2-2965a140586a | 2020-09-21 09:07:51.720362 |
|  2 | Imaging Contests (2004, 2006, 2008 and 2010) | Xavier Haubois  | http://oidb.jmmc.fr/search.html?collection=7f7fb9ed-350b-415b-bfb9-ed350b515b8c | 2020-09-18 03:12:15.456523 |
|  3 | pi1 Gruis PIONIER | Claudia Paladini | http://oidb.jmmc.fr/search.html?collection=19f7e2cf-2a03-4bb2-b7e2-cf2a03bbb245 | 2020-09-01 21:57:21.206402 |
|  2 | PIONIER | Jean-Baptiste Le Bouquin  | http://oidb.jmmc.fr/search.html?collection=PIONIER  | 2020-08-28 09:06:07.115448 |
|  3 | iot Peg | Narsireddy Anugu  | http://oidb.jmmc.fr/search.html?collection=fac164e1-d9d0-4500-8164-e1d9d0450099 | 2020-07-30 09:35:19.204697 |
| 0 | ESO VLTI import | ESO USD  | http://oidb.jmmc.fr/search.html?collection=eso_vlti_import  | 2020-06-22 07:29:23.679696 |
| 0 | ESO VLTI import | ESO USD  | http://oidb.jmmc.fr/search.html?collection=eso_vlti_import  | 2020-06-22 07:26:47.30545 |
| 0 | ESO VLTI import | ESO USD  | http://oidb.jmmc.fr/search.html?collection=eso_vlti_import  | 2020-06-22 07:25:30.992352 |
| 0 | ESO VLTI import | ESO USD  | http://oidb.jmmc.fr/search.html?collection=eso_vlti_import  | 2020-06-22 07:24:02.723438 |
| 0 | ESO VLTI import | ESO USD  | http://oidb.jmmc.fr/search.html?collection=eso_vlti_import  | 2020-06-22 07:22:39.567327 |
| 0 | ESO VLTI import | ESO USD  | http://oidb.jmmc.fr/search.html?collection=eso_vlti_import  | 2020-06-22 07:21:32.70979 |
| 0 | ESO VLTI import | ESO USD  | http://oidb.jmmc.fr/search.html?collection=eso_vlti_import  | 2020-06-22 07:19:10.148633 |
| 0 | ESO VLTI import | ESO USD  | http://oidb.jmmc.fr/search.html?collection=eso_vlti_import  | 2020-06-22 07:17:27.410078 |
| 0 | ESO VLTI import | ESO USD  | http://oidb.jmmc.fr/search.html?collection=eso_vlti_import  | 2020-06-22 07:16:20.041915 |
| 0 | ESO VLTI import | ESO USD  | http://oidb.jmmc.fr/search.html?collection=eso_vlti_import  | 2020-06-22 07:15:14.783906 |
| 0 | ESO VLTI import | ESO USD  | http://oidb.jmmc.fr/search.html?collection=eso_vlti_import  | 2020-06-22 07:09:33.788779 |
|  3 | CL Lac | Andrea Chiavassa  | http://oidb.jmmc.fr/search.html?collection=3d64620d-a152-4e75-9bc4-c68735d293b1 | 2020-06-16 08:35:29.110245 |
|  3 | Keiichi Ohnaka | Keiichi Ohnaka  | http://oidb.jmmc.fr/search.html?collection=6cfa202a-e35c-458c-837e-c512e73c3e45 | 2019-10-08 17:41:07.746961 |

   * !KappaTuc : [[http://oidb.jmmc.fr/search.html?collection=~faa4f229-65a1-4058-a4f2-2965a140586a]]
      * "OIFITS V2"
      * aurait du être SUV !
      * on note que le dépôt s'est fait en 2 fois
      * -&gt; oubli du progid pour certaines granules : c'est maintenant automatique pour progid et obs_id (si dans le fichier format ESO)
      * passage en L3 opéré par script avec correction/complement d'info rajouté par script
   * Keiichi Ohnaka
      * -&gt; nom de collection à corriger
      * formulaire modifié suite à une remarque sur le même point de Florian Kirchschlager
   * les données des précédents contests ( [[http://oidb.jmmc.fr/search.html?collection=~7f7fb9ed-350b-415b-bfb9-ed350b515b8c]])
      * -&gt; la question du mélange sur les données 'simulées' /observées se pose ?
   * pi1 Gruis PIONIER
      * Manque obs-id progid dans l'OIFITS -&gt; pas de lien ancillary.
         * -&gt; fournir une liste de suggestions à l'utilisateur pour aider à remplir les champs obs_id et progid vide lors de la soumission

---++ Synchro collections externes
   * VEGAOBS : synchro mensuelle toujours ok (mode reset)
   * CHARA L0 : Changement de méthode en cours : Jeremy J. va déposer le complément pour les L0. Validé sur oidb-beta. Etait initialement alimentée manuellement par tech-group depuis un fichier CSV fournit par Chris F.
   * ObsPortal : synchro quotidienne (mode incrémental)
      * synchro Archive ESO & ObsPortal 2x/jour

---+ Prochaines étapes OiDB
   * MAJ de la doc ?
   * Mettre plus en avant l'interface TAP (URL + enregistrement dans le Regristry VO ) / reste à fixer un problème technique sur les jobs asynchrones
   * Amélioration / bugfix :
      * soumission : fixer le insmod + ajout md5
      * ergonomie
         * page collection : table pas commode pas de details...
         * page collections : mettre en avant le côté L2 vs L3 ?
         * page recherche : proposer un champ supplémentaire de trie par date de publication de données ? -&gt; permet de voir les enregistrements les plus récents : par ex : http://oidb.jmmc.fr/search.html?order=subdate&caliblevel=1%2C2%2C3
         * page recherche : rajouter un bouton show all colums ? pour avoir : http://oidb.jmmc.fr/search.html?all=&collection=faa4f229-65a1-4058-a4f2-2965a140586a
         * mettre en avant les données utilisateur une fois loggué & afficher les données lockées.
      * amélioration robustesse (un pb identifié). et peut-etre performance ?
      * répercuter le modifs de release_date des L0 sur les L2 (possible d'après les annonces ESO)
      * Laisser éditable certains champs après soumissions ? ex description collection...
   * Nouveaux plots : timetable ?
---+ Autres projets "databases"
---++ projet SPICA

   *porté par l'OCA / Denis, aide jmmc-tech-group à l'étude
---++ JSDC V2.5
   * pourrait faire partie d'un lot de services raccroché à un service de catalogues VO TAP ( et OiDB pourrait lui aussi migrer / se modulariser )
---++ AOB ???
Topic revision: r1 - 2020-10-01 - GuillaumeMella