-- 
Guillaume Mella - 2020-10-01
Guillaume Mella - 2020-10-01
2 Octobre 2020
Principales nouvelles fonctionnalités
Ca a bien bougé depuis début septembre : oidb est parfois même en avance sur oidb-beta. -> un peu plus de détail dans les releases notes
Moisson ObsPortal
- permet le lien L0<->L2,3, traitement des release_dates VLTI
- à mené à corriger les releases dates de la collection PIONIER (des fichiers ayant les infos progid et obs_id / en fonction de la version du DRS)
- Initialement obs_released_date=t_min+1an. On voit maintenant que certaines données sans embargo sont libérées immédiatement, d'autres au bout de plus d'un an (souvent 2~):
- On commence à avoir plus d'info pour des vérifications
- par ex: en verifiant que les obs_id des fichiers appartiennent bien au même progid que les obslogs:
oidb=> select granule.obs_id, granule.progid as granule_progid, obslog.progid as granule_progid, granule.obs_release_date as granule_release_date, obslog.obs_release_date as obslog_release_date from oidb as granule INNER JOIN oidb as obslog ON granule.obs_id=SPLIT_PART(obslog.obs_id,'_',1) AND NOT granule.progid = obslog.progid AND granule.calib_level>0 and obslog.calib_level=0 ;
obs_id | granule_progid | granule_progid | granule_release_date | obslog_release_date
-------------------------------+----------------+----------------+-----------------------+---------------------
PIONI.2014-11-30T01:19:06.730 | 094.C-0175(A) | 094.D-0624(B) | 2015-11-30 01:17:47.3 | 2015-11-30 02:26:10
PIONI.2014-11-30T01:41:35.326 | 094.C-0175(A) | 094.D-0320(A) | 2015-11-30 01:40:16.2 | 2015-11-30 02:51:06
PIONI.2018-06-09T06:07:20.030 | 60.A-9800(X) | 0101.B-0576(I) | 2019-06-09 06:27:47.6 | 2019-06-09 10:15:29
(3 lignes)
Amélioration de la protection des données sous embargo
- les datalinks sont maintenant eux aussi couverts
- le traitements est un peu complexe puisque certaines données (pdf) sont partagées entre plusieurs OIFits ayant des releases dates =
- la date la plus lointaine est retenue
- on constate des données 'non science' : calibrateurs, obs de test, commissioning...
- faut-il rajouter des traitements spécifiques (filtrage) ?
Collections privées
- Première mise en place SUV :
- pas encore utilisée
- à étendre avec un partagr de données aux COIs (ex. large programmes)?
- pas encore utilisée
Vers plus de contenu L2/L3
- Comment inviter plus de soumissions : il faut que le PI ait un interet (Service ajouté: reduction, visualisation)
- MATISSE,GRAVITY reduction automatique avec stagiares?
Ancillary data
- première tentative entre L0 et L2 relié sur porgid et obs_id
- ex. d'affichage des liens : http://oidb.jmmc.fr/show.html?id=1281061
- ne relie que le premier L0 aux L2 puisque qu'un OIFIts ne fournit qu'un seul id à travers le keywords ARCFILE
- un lien grosse maille sur la base du progid renvoit vers obsportal/ESOarchive
- peut-on mieux restreindre sur obsportal avec un filtrage supplémentaire par target / date ?
- du coup la meta donnée
interferometer_stationsdes granules sera probablement plus simple à remplir depuis l'OIFits
- ex. d'affichage des liens : http://oidb.jmmc.fr/show.html?id=1281061
Sollicitations utilisateurs:
Demande d'accès aux données sous embargo
4 demandes courant de l'été pour des données PIONIERDépôts de nouvelles données
select calib_level, obs_collection, subdate from oidb where subdate > DATE('2019-10-01') group by subdate, obs_collection, calib_level order by subdate DESC, obs_collection;
- KappaTuc : http://oidb.jmmc.fr/search.html?collection=~faa4f229-65a1-4058-a4f2-2965a140586a
- "OIFITS V2"
- aurait du être SUV !
- on note que le dépôt s'est fait en 2 fois
- -> oubli du progid pour certaines granules : c'est maintenant automatique pour progid et obs_id (si dans le fichier format ESO)
- passage en L3 opéré par script avec correction/complement d'info.
- c'est un premier cas, mais la question se pose sur le cycle de vie de données pour passer de L2 -> L3 . Plus de cas à venir avec SUV.
- Keiichi Ohnaka
- -> nom de collection à corriger
- formulaire modifié suite à une remarque sur le même point de Florian Kirchschlager
- les données des précédents contests ( http://oidb.jmmc.fr/search.html?collection=~7f7fb9ed-350b-415b-bfb9-ed350b515b8c)
- -> la question du mélange sur les données 'simulées' /observées se pose ?
- pi1 Gruis PIONIER
- Manque obs-id progid dans l'OIFITS -> pas de lien ancillary.
- -> fournir une liste de suggestions à l'utilisateur pour aider à remplir les champs obs_id et progid vide lors de la soumission
- Manque obs-id progid dans l'OIFITS -> pas de lien ancillary.
- Et deux collection CHARA MIRCx !
Synchro collections externes
- VEGAOBS : synchro mensuelle toujours ok (mode reset)
- CHARA L0 : Changement de méthode en cours : Jeremy J. va déposer le complément pour les L0. Validé sur oidb-beta. Etait initialement alimentée manuellement par tech-group depuis un fichier CSV fournit par Chris F.
- ObsPortal : synchro quotidienne (mode incrémental)
- synchro Archive ESO & ObsPortal 2x/jour
- PIONIER : flush général fin aout. plus de meta données et à jour (cf maj ci-dessus)
Evolution ObsLog et Granules
- Evolution L0:
- Evolution granules:
Prochaines étapes OiDB
- MAJ de la doc ?
- Mettre plus en avant l'interface TAP (URL + enregistrement dans le Regristry VO ) / reste à fixer un problème technique sur les jobs asynchrones
- Amélioration / bugfix :
- soumission : fixer le insmod + ajout md5
- ergonomie
- page collection : table pas commode pas de details...
- page collections : mettre en avant le côté L2 vs L3 ?
- page recherche : proposer un champ supplémentaire de trie par date de publication de données ? -> permet de voir les enregistrements les plus récents : par ex : http://oidb.jmmc.fr/search.html?order=subdate&caliblevel=1%2C2%2C3
- page recherche : rajouter un bouton show all colums ? pour avoir : http://oidb.jmmc.fr/search.html?all=&collection=faa4f229-65a1-4058-a4f2-2965a140586a
- mettre en avant les données utilisateur une fois loggué & afficher les données lockées.
- amélioration robustesse (un pb identifié). et peut-etre performance ?
- répercuter le modifs de release_date des L0 sur les L2 (possible d'après les annonces ESO)
- Laisser éditable certains champs après soumissions ? ex description collection...
- Nouveaux plots : timetable ?
Autres projets "databases"
projet SPICA
*porté par l'OCA / Denis, aide jmmc-tech-group à l'étudeJSDC V2.5
- pourrait faire partie d'un lot de services raccroché à un service de catalogues VO TAP ( et OiDB pourrait lui aussi migrer / se modulariser )
Actions/ remarques:
- [/] Mettre un warning sur les données associées à des progid préfixés par 60.A -> temps technique & controle qualité réduit
- par ex : http://oidb.jmmc.fr/search.html?perpage=25&progid=~60.A&order=t_min
- A terme essayer de récupérer sur ObsPortal les information de qualité depuis l'archive ESO
- par ex : http://oidb.jmmc.fr/search.html?perpage=25&progid=~60.A&order=t_min
- [/] Metter un warning sur les données de simulations voir sur quel metadonnées s'appuyer : . calib_level,instrument_name/instrument_mode(SIMULATION), *quality_flag* -> indication posée lors de la soumission
- [/] déplacer en haut de page le lien de saisie de commentaire
- étendre aux fichiers / collections ?
- [/] réorganiser la présentation des collections -> arborescence calib_level / [ coltype ] dans le formulaire de recherche
- [] developper les release notes et faire un lien vers la doc
- [] rajouter une checkbox, display all collumns
- [] élargir le depot de données suv à une notion pour tous appelée 'privée' : 'suv' n'est pas parlant pour un user ...
- [] preparer un tutoriel vidéo en amont de l'annonce Olbin
- [] intégrer à l'annonce les remarque de l'AG pour encourager plus de partage de données
- [] Continuer d'encourager l'openscience ! -> faire un point specifique pour arriver à engager la communauté dans le partage de données d'archive -> point AG
- le CDS pourrait mettre en avant dans SimBad la présence de données publiées d'OiDB notamment dans les external archives. Reconnecter avec Sebastien Derriere?
- Avoir un service TAP centralisé permettrai de recroiser les données sciences à travers leurs calibrateurs en lien avec les mesures JSDC en plus de donner un accès centralisé à l'ensemble des services pour une target donnée.
- [] plot de frequentations dans le dashboard (plutôt que log des visites et downloads)
- [] plan pour organiser la reduction automatique MATISSE/GRAVITY, meeting a organiser avec consortium...
- deux fichiers distincts de la collection kappa tuc ont les memes obs_id
- rediscuter de l'unicité des obs_id -> la base à une contrainte qu'il faudrait assouplir : par instrument_mode ?
- suite à un petite modif, la version en cours d'Aspro2 pourra récupérer les targets d'une recherche OiDB (par progid par ex.)
- aucune conf instr. ou facility n'est transmise pour l'instant
| I | Attachment | History | Action | Size | Date | Who | Comment |
|---|---|---|---|---|---|---|---|
 png |
L0-2020-10-02.png | r1 | manage | 19.9 K | 2020-10-02 - 06:57 | GuillaumeMella | evolution L0 |
| png |
nopionier_time.png | r1 | manage | 4.8 K | 2020-10-02 - 06:58 | GuillaumeMella | evolution granules (sans PIONIER) |
| png |
pionier_fixed_release_dates.png | r1 | manage | 14.9 K | 2020-10-02 - 07:10 | GuillaumeMella | Correction released data fichiers PIONIER |
| png |
pionier_time.png | r1 | manage | 5.6 K | 2020-10-02 - 06:58 | GuillaumeMella | evolution granules (PIONIER uniquement) |
Topic revision: r10 - 2020-10-15 - GuillaumeMella
Site map
Jmmc web
Create New Topic
Index
Search
Changes
Notifications
RSS Feed
Statistics
Preferences
Account 
 |
 |
|
|
|
|
Copyright © 2008-2024 by the contributing authors. All material on this collaboration platform is the property of the contributing authors. Ideas, requests, problems regarding TWiki? Send feedback