AMBER Data Reduction Software
Introduction
Le but de cette activité consiste à reprendre le
plugin existant
ammyorick, et :
- d'intégrer le plugin dans le module amdlib,
- de mettre en place la génération automatique du wrapper des fonctions de la librarie de réduction de données amdlib,
- d'extraire, remettre en forme et documenter les fonctions Yorick strictement nécessaires à la réduction des données AMBER,
- d'extraire le plugin cftisio, et le placer dans le module yoco ; module des contributions Yorick du LAOG
- d'extraire les fonctions d'usage général du module et le placer dans le module yoco
- de décomposer la procédure check data quality (voir réunion du 13 février),
- calcul des visibilités brutes,
- sélection d'images,
- calcul des visibilités moyennées
- calcul de visibilités calibrées
- visionneur de fichiers OI-FITS s'adaptant au contenu
- d'intégrer la génération (non basée sur Latex) du fichier pdf au visionneur
- de fournir une procédure d'installation simplifiée
- de finaliser la documentation utilisateur
Le responsable scientifique est
FabienMalbet, et la responsable technique est
EvelyneAltariba.
Procédure d'installation
La procédure d'installation a été simplifiée, et est décrite sur la
page suivante
Documentation utilisateur
La documentation utilisateur doit :
- refléter la dernière version du logiciel,
- inclure des exemples,
- préciser les limites d'utilisation,
- fournir les justifications scientifiques (référence aux publications)
Liste des beta-testeurs
Actions fermées
%ACTION{ closed="28-May-2007" closer="" created="26-Feb-2007" creator="Main.GerardZins" due="11-Mar-2007" notify="" state="closed" uid="000475" who="Main.EvelyneAltariba" }% <<EOF
Faire l'inventaire des fonctions Yorick, et decider des fonctions publiques/privees
la liste n'est plus completement a jour, elle n'a plus vraiment d'interet. Pour l'instant, valide par Florentin.
EOF
%ACTION{ closed="25-Apr-2007" closer="" created="21-Mar-2007" creator="Main.FlorentinMillour" due="4-Apr-2007" notify="" state="closed" uid="000001" who="Main.EvelyneAltariba" }% <<EOF
Lire les fichiers du pipeline ESO
Plus d'interet. Les deux logiciels vont produire les memes fichiers
EOF
%ACTION{ closed="29-May-2007" closer="Main.EvelyneAltariba" created="3-Mar-2007" creator="Main.GerardZins" due="25-May-2007" state="closed" uid="000489" who="Main.FlorentinMillour" }% <<EOF
Implementer le calcul des visibilites calibrees
Suspendu
EOF
%ACTION{ closed="25-Apr-2007" closer="" created="12-Mar-2007" creator="Main.SylvainCetre" due="13-Mar-2007" notify="" state="closed" uid="000564" who="Main.FlorentinMillour" }% <<EOF
Faire preciser le format utilisable pour la table des spectres
L'ESO n'a pas de format a proposer
EOF
%ACTION{ closed="28-May-2007" closer="" created="19-Mar-2007" creator="Main.EvelyneAltariba" due="11-May-2007" notify="" state="closed" uid="000589" who="Main.EvelyneAltariba" }% Coder l'ecriture/utilisation/lecture des flags indiquant si les donnees ont un sens dans les tables oi-fits
%ACTION{ closed="29-May-2007" closer="Main.EvelyneAltariba" created="19-Mar-2007" creator="Main.EvelyneAltariba" due="11-May-2007" state="closed" uid="000596" who="Main.EvelyneAltariba" }% <<EOF
Ecrire les 2 fonctions amdlibCheckDataQuality + amdlibCheckObsQuality.
Suspendu
EOF
%ACTION{ closed="10-Jun-2007" closer="" created="19-Mar-2007" creator="Main.EvelyneAltariba" due="11-May-2007" notify="" state="closed" uid="000598" who="Main.EvelyneAltariba" }% <<EOF
Revue du code yorick dans son ensemble.
Annulee. Seules les fonctions publiques seront revues par Olivier
EOF
%ACTION{ closed="10-Jun-2007" closer="" created="25-Apr-2007" creator="Main.GerardZins" due="11-May-2007" notify="" state="closed" uid="000069" who="Main.GerardZins" }% Utiliser des couleurs differentes pour les fichiers OI-DATA de type 'raw', 'avg' et 'cal'
%ACTION{ closed="2-Jun-2007" closer="" created="25-Apr-2007" creator="Main.GerardZins" due="11-May-2007" notify="" state="closed" uid="000072" who="Main.FlorentinMillour" }% Implementer la fonction
amdlibPerformAllSpectralCalibration
---> Implémenté dans
amdlibComputeAllP2vm
pour prendre en compte le lien entre les deux.
%ACTION{ closed="22-May-2007" closer="" created="25-Apr-2007" creator="Main.GerardZins" due="11-May-2007" notify="" state="closed" uid="000073" who="Main.EvelyneAltariba" }% Par defaut, ne plus faire la calibration spectrale dans les fonctions
amdlibComputeP2vm
et
amdlibComputeOiData
%ACTION{ closed="22-May-2007" closer="" created="25-Apr-2007" creator="Main.GerardZins" due="11-May-2007" notify="" state="closed" uid="000074" who="Main.EvelyneAltariba" }% Ajouter une option pour faire la calibration spectrale dans les fonctions
amdlibComputeP2vm
et
amdlibComputeOiData
%ACTION{ closed="16-May-2007" closer="" created="25-Apr-2007" creator="Main.GerardZins" due="11-May-2007" notify="" state="closed" uid="000076" who="Main.GerardZins" }% <<EOF
Demander les PRO.CATG pour les 'raw vis', 'avg vis' et 'cal vis'
La valeur du mot-cle PRO CATG pour les OI-DATA est :
- raw : CALIB_REDUCED ou SCIENCE_REDUCED)
- avg : CALIB_AVERAGED ou SCIENCE_AVERAGED
- cal : SCIENCE_CALIBRATED
EOF
%ACTION{ closed="6-Jun-2007" closer="" created="28-May-2007" creator="Main.GerardZins" due="15-Jun-2007" notify="" state="closed" uid="000131" who="Main.FlorentinMillour" }% Fournir les instructions pour l'affichage du 'banana' plot a partir de yorick (a mettre dans la FAQ de
AMBER) ---> Fait ! J'ai mis à jour le manuel d'utilisation JMMC-MAN-2720-0001 en y rajoutant une FAQ
%ACTION{ closed="1-Jun-2007" closer="" created="28-May-2007" creator="Main.GerardZins" due="1-Jun-2007" notify="" state="closed" uid="000134" who="Main.GillesDuvert" }% Changer le signe du piston produit par la methode PHASOR. Fait.
%ACTION{ closed="29-May-2007" closer="" created="28-May-2007" creator="Main.GerardZins" due="1-Jun-2007" notify="" state="closed" uid="000136" who="Main.EvelyneAltariba" }% Inclure la calibration spectrale (executer en fonction du nombre de fichiers transmis) dans la procedure de calibration de la P2VM
%ACTION{ closed="28-May-2007" closer="Main.GillesDuvert" created="25-Jun-2007" creator="Main.GillesDuvert" due="25-Jun-2007" state="closed" uid="000175" who="Main.GillesDuvert" }% <<EOF
Regarder un outil pour la creation d'images d'un CDROM sur disque dur.
Commande
lndir
EOF
%ACTION{ closed="10-Jun-2007" closer="" created="25-Apr-2007" creator="Main.GerardZins" due="22-Jun-2007" notify="" state="closed" uid="000071" who="Main.GerardZins" }% Proposer une nouvelle palletle de couleur
%ACTION{ closed="10-Jun-2007" closer="" created="28-May-2007" creator="Main.GerardZins" due="29-Jun-2007" notify="" state="closed" uid="000133" who="Main.GerardZins" }% <<EOF
Implementer la sauvegarde du spectre dans les fichiers OI-DATA
Il faut discuter du calcul de l'erreur sur le spectre.
EOF
%ACTION{ closed="10-Jun-2007" closer="" created="28-May-2007" creator="Main.GerardZins" due="15-Jun-2007" notify="" state="closed" uid="000139" who="Main.EvelyneAltariba" }% Mettre a jour
amdlib
pour que les fichiers necessaires a la calibration spectrale et la P2VM soient regroupes pour permettre l'appel a la nouvelle fonction de calibration
%ACTION{ closed="14-Jun-2007" closer="" created="10-Jun-2007" creator="Main.GerardZins" due="22-Jun-2007" notify="" state="closed" uid="000145" who="Main.FlorentinMillour" }% Resoudre le probleme d'affichage de la legende dans le 'file chooser' : fait !
Action en cours
%ACTION{ closed="23-Jun-2007" closer="" created="2-Jan-2007" creator="Main.GerardZins" due="29-Jun-2007" notify="" state="closed" uid="000291" who="Main.GerardZins" }% <<EOF
Créer une page pour le téléchargement des 'contrib' (fftw, cfitsio, rlterm, yorick) accessible par tous.
http://www-laog.obs.ujf-grenoble.fr/twiki/bin/view/Laog/GRIL/Informatique/AmberDrsInstallation#Yorick_fftw_cfitsio
EOF
%ACTION{ closed="BAD DATE see
ActionTrackerPlugin#DateFormats" closer="" created="25-Feb-2007" creator="Main.GerardZins" due="29-Jun-2007" notify="" state="open" uid="000464" who="Main.GerardZins" }% <<EOF
Mettre a jour le document 'VLT-SPE-AMB-15830-3984 -
AMBER PRODUCT DATA SPECIFICATION'
- Inclure la description du fichier de selection de frame
- Mettre a jour la table AMBER_DATA
- Definir la table pour stocker les spectres
Document en cours d'approbation
EOF
%ACTION{ closed="BAD DATE see
ActionTrackerPlugin#DateFormats" closer="" created="12-Mar-2007" creator="Main.GerardZins" due="28-Sep-2007" notify="" state="open" uid="000559" who="Main.FlorentinMillour" }% Resoudre le probleme d'affichage des 'raw data' ayant 2 rows et plus
%ACTION{ created="23-Jun-2007" creator="Main.GerardZins" due="27-Jun-2007" state="open" uid="000149" who="Main.FabienMalbet" }% UM - Ajouter un paragraphe concernant l'historique de la calibration spectrale.
%ACTION{ created="23-Jun-2007" creator="Main.GerardZins" due="27-Jun-2007" state="open" uid="000150" who="Main.OlivierAbsil" }% UM - Ajouter un paragraphe concernant la verification de la calibration spectrale.
%ACTION{ closer="" created="19-Mar-2007" creator="Main.EvelyneAltariba" due="22-Jun-2007" notify="" state="open" uid="000591" who="Main.OlivierAbsil" }% UM - Ajouter un paragraphe sur la selection de frames.
%ACTION{ closer="" created="19-Mar-2007" creator="Main.EvelyneAltariba" due="22-Jun-2007" notify="" state="open" uid="000593" who="Main.OlivierAbsil" }% UM - Inclure des captures d'ecran sur le modele Alpha Arae, corriger les fautes d'orthographe, expliquer plus en details...
%ACTION{ closer="" created="19-Mar-2007" creator="Main.EvelyneAltariba" due="22-Jun-2007" notify="" state="open" uid="000595" who="Main.OlivierAbsil" }% UM - Ajouter un script utilisant les donnees sur Alpha Arae + insertion des commandes dans le manuel utilisateur.
%ACTION{ created="25-Apr-2007" creator="Main.GerardZins" due="22-Jun-2007" notify="" state="open" uid="000070" who="Main.FlorentinMillour" }% Nettoyer le plugin Yorick du code mort relatif au calcul de UV par amdlib.
%ACTION{ closed="23-Jun-2007" closer="" created="25-Apr-2007" creator="Main.GerardZins" due="22-Jun-2007" notify="" state="closed" uid="000075" who="Main.GerardZins" }% <<EOF
Changer les keywords OCS pour l'instrument contrast en QC
OCS.P2VM.VISxx
changes en
QC.P2VM.VISxx
EOF
%ACTION{ created="26-Apr-2007" creator="Main.GerardZins" due="22-Jun-2007" notify="" state="open" uid="000078" who="Main.OlivierAbsil" }% <<EOF
Faire la revue de la documentation des fonction yorick publiques :
- ajouter les valeurs possibles ou les plages quand c'est applicable
- ajouter les dimensions des variables
EOF
%ACTION{ created="26-Apr-2007" creator="Main.GerardZins" due="22-Jun-2007" notify="" state="open" uid="000082" who="Main.FlorentinMillour,
GillesDuvert" }% Analyser les valeurs 'nan' dans le tableau des visibilites
%ACTION{ closer="" created="28-May-2007" creator="Main.GerardZins" due="28-Sep-2007" notify="" state="open" uid="000132" who="Main.FlorentinMillour" }% Mettre a jour l'affichage des OI-DATA pour fournir une fonctionnalite pour visualiser l'effet de la selection
%ACTION{ closer="" created="28-May-2007" creator="Main.GerardZins" due="28-Sep-2007" notify="" state="open" uid="000135" who="Main.GerardZins" }% <<EOF
Prendre contact avec l'ESO pour indiquer que l'estimation du piston doit etre faite avec la methode PHASOR; la methode PHASE sera supprimee a terme
En attente d'une version 2 validee
EOF
%ACTION{ closed="23-Jun-2007" closer="Main.GillesDuvert" created="28-May-2007" creator="Main.GerardZins" due="22-Jun-2007" notify="" state="closed" uid="000137" who="Main.GillesDuvert" }% Mettre a jour la calibration spectrale pour prendre en compte la transmission spectrale de l'instrument (spectre P2VM)
%ACTION{ closer="" created="28-May-2007" creator="Main.GerardZins" due="29-Jun-2007" notify="" state="open" uid="000138" who="Main.GerardZins" }% <<EOF
Prendre contact avec l'ESO pour evoquer les modifications induites au niveau de pipeline si les calibrations P2VM et spectrales sont toujours faites simultannement.
En attente de la validation de cette 'nouvelle' procedure de calibration.
EOF
%ACTION{ closed="25-Jun-2007" closer="Main.GillesDuvert" created="10-Jun-2007" creator="Main.GerardZins" due="25-Jun-2007" state="closed" uid="000146" who="Main.GillesDuvert" }% Implementer le calcul de l'erreur associe aux spectres
AMBER
%ACTION{ closed="25-Jun-2007" closer="Main.GillesDuvert" created="11-Jun-2007" creator="Main.GerardZins" due="25-Jun-2007" state="closed" uid="000147" who="Main.GillesDuvert" }% Revoir la procedure d'installation: elle est OK. Seul pb: les conflits sur le Makefile des plugins: enlever le fichier makefile avant checkout.
%ACTION{ closed="BAD DATE see
ActionTrackerPlugin#DateFormats" closer="" created="23-Jun-2007" creator="Main.GerardZins" due="27-Jun-2007" notify="" state="open" uid="000151" who="Main.OlivierAbsil" }% <<EOF
Proposer une nouvelle palette de couleur.
GZ - 24/06 - ajout de amdlibSetFileColors pour redefinir la propre pallette.
EOF
%ACTION{ closed="26-Jun-2007" closer="" created="23-Jun-2007" creator="Main.GerardZins" due="27-Jun-2007" notify="" state="closed" uid="000152" who="Main.FlorentinMillour" }% <<EOF
Resoudre le conflit de la fenetre affichant la barre de progression avec celle deja affiche; e.g. lors de la visualisation des 'raw data', demande du chargement d'un 'dark' et appui sur 'Colorize' lors de l'affichage du 'file selector'.
GZ - 24/06 - Utilisation de la fenetre 7 en attendant une autre solution. FMi - 25/06 - Choix de n'importe quelle fenêtre pour tous les joujoux graphiques, par défaut 0.
EOF
%ACTION{ closed="23-Jun-2007" closer="" created="23-Jun-2007" creator="Main.GerardZins" due="27-Jun-2007" notify="" state="closed" uid="000153" who="Main.GerardZins" }% <<EOF
Changer le calcul de la photometrie de la P2VM pour ne plus faire la moyenne sur Nframes.
Pas de changement au niveau du calcul de la photometrie (attitude conservative pour ne pas risquer de modifier le calcul de la P2VM), mais ajout de nbFrames dans la structure pour pouvoir remonter au flux total.
EOF
%ACTION{ closed="23-Jun-2007" closer="" created="23-Jun-2007" creator="Main.GerardZins" due="27-Jun-2007" notify="" state="closed" uid="000154" who="Main.GerardZins" }% Implementer le calcul de l'erreur du spectre de la P2VM; bruit de detecteur neglige
%ACTION{ closed="BAD DATE see
ActionTrackerPlugin#DateFormats" closer="" created="23-Jun-2007" creator="Main.GerardZins" due="27-Jun-2007" notify="" state="open" uid="000155" who="Main.GillesDuvert" }% <<EOF
Mettre a jour le calcul du spectre et de son erreur pour les oi-data.
GZ - 23/06 - Modification du code pour ne plus moyenner et calculer l'erreur en negligeant le bruit de detecteur.
EOF
%ACTION{ created="23-Jun-2007" creator="Main.GerardZins" due="25-Jun-2007" state="open" uid="000156" who="Main.FlorentinMillour" }% Transmettre a Gilles le jeu de donnees pour la validation de la calibration spectrale avec 'normalisation' avec la spectre
P2VM
%ACTION{ created="23-Jun-2007" creator="Main.GerardZins" due="27-Jun-2007" state="open" uid="000157" who="Main.GillesDuvert" }% Valider de la calibration spectrale avec 'normalisation' avec la spectre
P2VM
%ACTION{ created="23-Jun-2007" creator="Main.GerardZins" due="27-Jun-2007" state="open" uid="000169" who="Main.GillesDuvert" }% Modifier
amdlibComputeP2vm
si la calibration spectrale avec 'normalisation' avec la spectre
P2VM n'est pas validee
%ACTION{ closed="23-Jun-2007" closer="" created="23-Jun-2007" creator="Main.GerardZins" due="27-Jun-2007" notify="" state="closed" uid="000158" who="Main.GerardZins" }% <<EOF
Ajouter la possibilite d'indiquer des offsets pour la calibration spectrale au niveau de
amdlibComputeP2vm
dans le plugin
Ajout de l'option
shifts
a la fonction
amdlibComputeP2vm
EOF
%ACTION{ created="23-Jun-2007" creator="Main.GerardZins" due="27-Jun-2007" state="open" uid="000159" who="Main.FlorentinMillour" }% Implementer la verification de la calibration spectrale dans
amdlibShowRawData
en utilisant la
P2VM
%ACTION{ closed="25-Jun-2007" closer="" created="23-Jun-2007" creator="Main.GerardZins" due="27-Jun-2007" notify="" state="closed" uid="000160" who="Main.FlorentinMillour" }% Reduire le nombre de fenetres dans =amdlibShowP2vm"
%ACTION{ closed="26-Jun-2007" closer="" created="23-Jun-2007" creator="Main.GerardZins" due="27-Jun-2007" notify="" state="closed" uid="000161" who="Main.FlorentinMillour" }% UM - Ajouter un paragraphe sur la calibration des visibilites, avec 'disclaimer'
%ACTION{ closed="23-Jun-2007" closer="" created="23-Jun-2007" creator="Main.GerardZins" due="27-Jun-2007" notify="" state="closed" uid="000162" who="Main.GerardZins" }% <<EOF
Aligner les noms de programmes 'shell' avec ceux du plugin, tout en gardant la conservant les noms precedents.
Ajout des fonctions
amdlibComputeOiData
&
amdlibPerformFrameSelection
EOF
%ACTION{ closed="23-Jun-2007" closer="" created="23-Jun-2007" creator="Main.GerardZins" due="27-Jun-2007" notify="" state="closed" uid="000163" who="Main.GerardZins" }% <<EOF
Inclure les fichiers de 'bad pixels' et 'flat field' dans les donnees alfara, en precisant qu'ils ne doivent pas etre utilises pour les donnees d'observation.
Fichiers
amdmsBadPixelMap.fits
et
amdmsFlatFieldMap.fits
ajoute a
alfara_2T.tgz
Warning ajoute sur
http://www-laog.obs.ujf-grenoble.fr/twiki/bin/view/Laog/GRIL/Informatique/AmberDrsInstallation#AMBER_Data
EOF
%ACTION{ closer="" created="23-Jun-2007" creator="Main.GerardZins" due="27-Jun-2007" notify="" state="open" uid="000164" who="Main.FlorentinMillour" }% UM - Mettre a jour la doc parlant de MCS plate
%ACTION{ closed="26-Jun-2007" closer="" created="23-Jun-2007" creator="Main.GerardZins" due="27-Jun-2007" notify="" state="closed" uid="000165" who="Main.FlorentinMillour" }% UM - Preciser l'utilsation de 'useSky' et 'useDark'; inclure un paragraphe dans la FAQ : mis dans le corps du texte
%ACTION{ closed="23-Jun-2007" closer="" created="23-Jun-2007" creator="Main.GerardZins" due="27-Jun-2007" notify="" state="closed" uid="000166" who="Main.GerardZins" }% Ajouter
amdlibPerformAllFrameSelection
dans l'aide de amdlib
%ACTION{ created="23-Jun-2007" creator="Main.GerardZins" due="29-Jun-2007" state="open" uid="000167" who="Main.GerardZins" }% Annoncer la mise a disposition de la version Beta de amdlib sur amb-laog et .... Support via jmmc-user-support
%ACTION{ closed="23-Jun-2007" closer="" created="23-Jun-2007" creator="Main.GerardZins" due="25-Jun-2007" notify="" state="closed" uid="000168" who="Main.GerardZins" }% Ajouter Fabien, Olivier et Florentin dans la liste jmmc-user-support; prevenir Gaspard et Pierre
Liste des fonctions
Liste des fonctions publiques/privées
Evolutions à l'étude
Il apparait nécessaire de faire évoluer le format des fichiers produits par
AMBER DRS pour y inclure le spectre par téléscope, et préciser la signification des données de la la table
AMBER_DATA
.
Les propositions suivantes sont à discuter :
- Inclure un 'warning' dans le UM concernant le domaine de validite de amdlib lors du traitement de donnees bas flux / bruitees. La valeur du SNR pour des mesures fortement bruitees sont souvent sujet a discussion.
- Inclure le traitement AMDC (suppression des structures introduites dans les donnees par le detecteur) dans amdlib
- Corriger les visibilites du piston
- Ajouter la mesure du 'foreground' dans les templates d'observation
- Preciser dans le UM la difference entre la moyenne des visibilites brutes et la visibilites des donnees 'binnees', en idiquant que le mieux c'est le 'binning', mais qu'a defaut de donnees de 'qualite' il faut selectionner puis moyenner.
- Implementer la calibration des oi-data.
- Implementer les deux fonctions amdlibCheckDataQuality + amdlibCheckObsQuality
- Mettre à jour la bad pixels à partir des données; i.e détection des 'bad pixels' dans les données.
--
GerardZins - 08 Jan 2007