Tags:
view all tags

AMBER Data Reduction Software

Introduction

Le but de cette activité consiste à reprendre le plugin existant ammyorick, et :
  • d'intégrer le plugin dans le module amdlib,
  • de mettre en place la génération automatique du wrapper des fonctions de la librarie de réduction de données amdlib,
  • d'extraire, remettre en forme et documenter les fonctions Yorick strictement nécessaires à la réduction des données AMBER,
  • d'extraire le plugin cftisio, et le placer dans le module yoco ; module des contributions Yorick du LAOG
  • d'extraire les fonctions d'usage général du module et le placer dans le module yoco
  • de décomposer la procédure check data quality (voir réunion du 13 février),
    • calcul des visibilités brutes,
    • sélection d'images,
    • calcul des visibilités moyennées
    • calcul de visibilités calibrées
    • visionneur de fichiers OI-FITS s'adaptant au contenu
  • d'intégrer la génération (non basée sur Latex) du fichier pdf au visionneur
  • de fournir une procédure d'installation simplifiée
  • de finaliser la documentation utilisateur

Le responsable scientifique est FabienMalbet, et la responsable technique est EvelyneAltariba.

Procédure d'installation

La procédure d'installation a été simplifiée, et est décrite sur la page suivante

Documentation utilisateur

La documentation utilisateur doit :
  • refléter la dernière version du logiciel,
  • inclure des exemples,
  • préciser les limites d'utilisation,
  • fournir les justifications scientifiques (référence aux publications)

Liste des beta-testeurs

Actions fermées

%ACTION{ closed="28-May-2007" closer="" created="26-Feb-2007" creator="Main.GerardZins" due="11-Mar-2007" notify="" state="closed" uid="000475" who="Main.EvelyneAltariba" }% <<EOF Faire l'inventaire des fonctions Yorick, et decider des fonctions publiques/privees la liste n'est plus completement a jour, elle n'a plus vraiment d'interet. Pour l'instant, valide par Florentin. EOF %ACTION{ closed="25-Apr-2007" closer="" created="21-Mar-2007" creator="Main.FlorentinMillour" due="4-Apr-2007" notify="" state="closed" uid="000001" who="Main.EvelyneAltariba" }% <<EOF Lire les fichiers du pipeline ESO Plus d'interet. Les deux logiciels vont produire les memes fichiers EOF %ACTION{ closed="29-May-2007" closer="Main.EvelyneAltariba" created="3-Mar-2007" creator="Main.GerardZins" due="25-May-2007" state="closed" uid="000489" who="Main.FlorentinMillour" }% <<EOF Implementer le calcul des visibilites calibrees Suspendu EOF %ACTION{ closed="25-Apr-2007" closer="" created="12-Mar-2007" creator="Main.SylvainCetre" due="13-Mar-2007" notify="" state="closed" uid="000564" who="Main.FlorentinMillour" }% <<EOF Faire preciser le format utilisable pour la table des spectres L'ESO n'a pas de format a proposer EOF %ACTION{ closed="28-May-2007" closer="" created="19-Mar-2007" creator="Main.EvelyneAltariba" due="11-May-2007" notify="" state="closed" uid="000589" who="Main.EvelyneAltariba" }% Coder l'ecriture/utilisation/lecture des flags indiquant si les donnees ont un sens dans les tables oi-fits %ACTION{ closed="29-May-2007" closer="Main.EvelyneAltariba" created="19-Mar-2007" creator="Main.EvelyneAltariba" due="11-May-2007" state="closed" uid="000596" who="Main.EvelyneAltariba" }% <<EOF Ecrire les 2 fonctions amdlibCheckDataQuality + amdlibCheckObsQuality. Suspendu EOF %ACTION{ closed="10-Jun-2007" closer="" created="19-Mar-2007" creator="Main.EvelyneAltariba" due="11-May-2007" notify="" state="closed" uid="000598" who="Main.EvelyneAltariba" }% <<EOF Revue du code yorick dans son ensemble. Annulee. Seules les fonctions publiques seront revues par Olivier EOF %ACTION{ closed="10-Jun-2007" closer="" created="25-Apr-2007" creator="Main.GerardZins" due="11-May-2007" notify="" state="closed" uid="000069" who="Main.GerardZins" }% Utiliser des couleurs differentes pour les fichiers OI-DATA de type 'raw', 'avg' et 'cal' %ACTION{ closed="2-Jun-2007" closer="" created="25-Apr-2007" creator="Main.GerardZins" due="11-May-2007" notify="" state="closed" uid="000072" who="Main.FlorentinMillour" }% Implementer la fonction amdlibPerformAllSpectralCalibration ---> Implémenté dans amdlibComputeAllP2vm pour prendre en compte le lien entre les deux. %ACTION{ closed="22-May-2007" closer="" created="25-Apr-2007" creator="Main.GerardZins" due="11-May-2007" notify="" state="closed" uid="000073" who="Main.EvelyneAltariba" }% Par defaut, ne plus faire la calibration spectrale dans les fonctions amdlibComputeP2vm et amdlibComputeOiData %ACTION{ closed="22-May-2007" closer="" created="25-Apr-2007" creator="Main.GerardZins" due="11-May-2007" notify="" state="closed" uid="000074" who="Main.EvelyneAltariba" }% Ajouter une option pour faire la calibration spectrale dans les fonctions amdlibComputeP2vm et amdlibComputeOiData %ACTION{ closed="16-May-2007" closer="" created="25-Apr-2007" creator="Main.GerardZins" due="11-May-2007" notify="" state="closed" uid="000076" who="Main.GerardZins" }% <<EOF Demander les PRO.CATG pour les 'raw vis', 'avg vis' et 'cal vis' La valeur du mot-cle PRO CATG pour les OI-DATA est :
  • raw : CALIB_REDUCED ou SCIENCE_REDUCED)
  • avg : CALIB_AVERAGED ou SCIENCE_AVERAGED
  • cal : SCIENCE_CALIBRATED
EOF %ACTION{ closed="6-Jun-2007" closer="" created="28-May-2007" creator="Main.GerardZins" due="15-Jun-2007" notify="" state="closed" uid="000131" who="Main.FlorentinMillour" }% Fournir les instructions pour l'affichage du 'banana' plot a partir de yorick (a mettre dans la FAQ de AMBER) ---> Fait ! J'ai mis à jour le manuel d'utilisation JMMC-MAN-2720-0001 en y rajoutant une FAQ %ACTION{ closed="1-Jun-2007" closer="" created="28-May-2007" creator="Main.GerardZins" due="1-Jun-2007" notify="" state="closed" uid="000134" who="Main.GillesDuvert" }% Changer le signe du piston produit par la methode PHASOR. Fait. %ACTION{ closed="29-May-2007" closer="" created="28-May-2007" creator="Main.GerardZins" due="1-Jun-2007" notify="" state="closed" uid="000136" who="Main.EvelyneAltariba" }% Inclure la calibration spectrale (executer en fonction du nombre de fichiers transmis) dans la procedure de calibration de la P2VM %ACTION{ closed="28-May-2007" closer="Main.GillesDuvert" created="25-Jun-2007" creator="Main.GillesDuvert" due="25-Jun-2007" state="closed" uid="000175" who="Main.GillesDuvert" }% <<EOF Regarder un outil pour la creation d'images d'un CDROM sur disque dur. Commande lndir EOF %ACTION{ closed="10-Jun-2007" closer="" created="25-Apr-2007" creator="Main.GerardZins" due="22-Jun-2007" notify="" state="closed" uid="000071" who="Main.GerardZins" }% Proposer une nouvelle palletle de couleur %ACTION{ closed="10-Jun-2007" closer="" created="28-May-2007" creator="Main.GerardZins" due="29-Jun-2007" notify="" state="closed" uid="000133" who="Main.GerardZins" }% <<EOF Implementer la sauvegarde du spectre dans les fichiers OI-DATA Il faut discuter du calcul de l'erreur sur le spectre. EOF %ACTION{ closed="10-Jun-2007" closer="" created="28-May-2007" creator="Main.GerardZins" due="15-Jun-2007" notify="" state="closed" uid="000139" who="Main.EvelyneAltariba" }% Mettre a jour amdlib pour que les fichiers necessaires a la calibration spectrale et la P2VM soient regroupes pour permettre l'appel a la nouvelle fonction de calibration %ACTION{ closed="14-Jun-2007" closer="" created="10-Jun-2007" creator="Main.GerardZins" due="22-Jun-2007" notify="" state="closed" uid="000145" who="Main.FlorentinMillour" }% Resoudre le probleme d'affichage de la legende dans le 'file chooser' : fait !

Action en cours

%ACTION{ closed="23-Jun-2007" closer="" created="2-Jan-2007" creator="Main.GerardZins" due="29-Jun-2007" notify="" state="closed" uid="000291" who="Main.GerardZins" }% <<EOF Créer une page pour le téléchargement des 'contrib' (fftw, cfitsio, rlterm, yorick) accessible par tous. http://www-laog.obs.ujf-grenoble.fr/twiki/bin/view/Laog/GRIL/Informatique/AmberDrsInstallation#Yorick_fftw_cfitsio EOF %ACTION{ closed="BAD DATE see ActionTrackerPlugin#DateFormats" closer="" created="25-Feb-2007" creator="Main.GerardZins" due="29-Jun-2007" notify="" state="open" uid="000464" who="Main.GerardZins" }% <<EOF Mettre a jour le document 'VLT-SPE-AMB-15830-3984 - AMBER PRODUCT DATA SPECIFICATION'
  • Inclure la description du fichier de selection de frame
  • Mettre a jour la table AMBER_DATA
  • Definir la table pour stocker les spectres

Document en cours d'approbation EOF %ACTION{ closed="BAD DATE see ActionTrackerPlugin#DateFormats" closer="" created="12-Mar-2007" creator="Main.GerardZins" due="28-Sep-2007" notify="" state="open" uid="000559" who="Main.FlorentinMillour" }% Resoudre le probleme d'affichage des 'raw data' ayant 2 rows et plus %ACTION{ created="23-Jun-2007" creator="Main.GerardZins" due="27-Jun-2007" state="open" uid="000149" who="Main.FabienMalbet" }% UM - Ajouter un paragraphe concernant l'historique de la calibration spectrale. %ACTION{ created="23-Jun-2007" creator="Main.GerardZins" due="27-Jun-2007" state="open" uid="000150" who="Main.OlivierAbsil" }% UM - Ajouter un paragraphe concernant la verification de la calibration spectrale. %ACTION{ closer="" created="19-Mar-2007" creator="Main.EvelyneAltariba" due="22-Jun-2007" notify="" state="open" uid="000591" who="Main.OlivierAbsil" }% UM - Ajouter un paragraphe sur la selection de frames. %ACTION{ closer="" created="19-Mar-2007" creator="Main.EvelyneAltariba" due="22-Jun-2007" notify="" state="open" uid="000593" who="Main.OlivierAbsil" }% UM - Inclure des captures d'ecran sur le modele Alpha Arae, corriger les fautes d'orthographe, expliquer plus en details... %ACTION{ closer="" created="19-Mar-2007" creator="Main.EvelyneAltariba" due="22-Jun-2007" notify="" state="open" uid="000595" who="Main.OlivierAbsil" }% UM - Ajouter un script utilisant les donnees sur Alpha Arae + insertion des commandes dans le manuel utilisateur. %ACTION{ created="25-Apr-2007" creator="Main.GerardZins" due="22-Jun-2007" notify="" state="open" uid="000070" who="Main.FlorentinMillour" }% Nettoyer le plugin Yorick du code mort relatif au calcul de UV par amdlib. %ACTION{ closed="23-Jun-2007" closer="" created="25-Apr-2007" creator="Main.GerardZins" due="22-Jun-2007" notify="" state="closed" uid="000075" who="Main.GerardZins" }% <<EOF Changer les keywords OCS pour l'instrument contrast en QC OCS.P2VM.VISxx changes en QC.P2VM.VISxx EOF %ACTION{ created="26-Apr-2007" creator="Main.GerardZins" due="22-Jun-2007" notify="" state="open" uid="000078" who="Main.OlivierAbsil" }% <<EOF Faire la revue de la documentation des fonction yorick publiques :

  • ajouter les valeurs possibles ou les plages quand c'est applicable
  • ajouter les dimensions des variables
EOF %ACTION{ created="26-Apr-2007" creator="Main.GerardZins" due="22-Jun-2007" notify="" state="open" uid="000082" who="Main.FlorentinMillour, GillesDuvert" }% Analyser les valeurs 'nan' dans le tableau des visibilites %ACTION{ closer="" created="28-May-2007" creator="Main.GerardZins" due="28-Sep-2007" notify="" state="open" uid="000132" who="Main.FlorentinMillour" }% Mettre a jour l'affichage des OI-DATA pour fournir une fonctionnalite pour visualiser l'effet de la selection %ACTION{ closer="" created="28-May-2007" creator="Main.GerardZins" due="28-Sep-2007" notify="" state="open" uid="000135" who="Main.GerardZins" }% <<EOF Prendre contact avec l'ESO pour indiquer que l'estimation du piston doit etre faite avec la methode PHASOR; la methode PHASE sera supprimee a terme En attente d'une version 2 validee EOF %ACTION{ closed="23-Jun-2007" closer="Main.GillesDuvert" created="28-May-2007" creator="Main.GerardZins" due="22-Jun-2007" notify="" state="closed" uid="000137" who="Main.GillesDuvert" }% Mettre a jour la calibration spectrale pour prendre en compte la transmission spectrale de l'instrument (spectre P2VM) %ACTION{ closer="" created="28-May-2007" creator="Main.GerardZins" due="29-Jun-2007" notify="" state="open" uid="000138" who="Main.GerardZins" }% <<EOF Prendre contact avec l'ESO pour evoquer les modifications induites au niveau de pipeline si les calibrations P2VM et spectrales sont toujours faites simultannement. En attente de la validation de cette 'nouvelle' procedure de calibration. EOF %ACTION{ closed="25-Jun-2007" closer="Main.GillesDuvert" created="10-Jun-2007" creator="Main.GerardZins" due="25-Jun-2007" state="closed" uid="000146" who="Main.GillesDuvert" }% Implementer le calcul de l'erreur associe aux spectres AMBER %ACTION{ closed="25-Jun-2007" closer="Main.GillesDuvert" created="11-Jun-2007" creator="Main.GerardZins" due="25-Jun-2007" state="closed" uid="000147" who="Main.GillesDuvert" }% Revoir la procedure d'installation: elle est OK. Seul pb: les conflits sur le Makefile des plugins: enlever le fichier makefile avant checkout. %ACTION{ closed="BAD DATE see ActionTrackerPlugin#DateFormats" closer="" created="23-Jun-2007" creator="Main.GerardZins" due="27-Jun-2007" notify="" state="open" uid="000151" who="Main.OlivierAbsil" }% <<EOF Proposer une nouvelle palette de couleur. GZ - 24/06 - ajout de amdlibSetFileColors pour redefinir la propre pallette. EOF %ACTION{ closed="26-Jun-2007" closer="" created="23-Jun-2007" creator="Main.GerardZins" due="27-Jun-2007" notify="" state="closed" uid="000152" who="Main.FlorentinMillour" }% <<EOF Resoudre le conflit de la fenetre affichant la barre de progression avec celle deja affiche; e.g. lors de la visualisation des 'raw data', demande du chargement d'un 'dark' et appui sur 'Colorize' lors de l'affichage du 'file selector'. GZ - 24/06 - Utilisation de la fenetre 7 en attendant une autre solution. FMi - 25/06 - Choix de n'importe quelle fenêtre pour tous les joujoux graphiques, par défaut 0. EOF %ACTION{ closed="23-Jun-2007" closer="" created="23-Jun-2007" creator="Main.GerardZins" due="27-Jun-2007" notify="" state="closed" uid="000153" who="Main.GerardZins" }% <<EOF Changer le calcul de la photometrie de la P2VM pour ne plus faire la moyenne sur Nframes. Pas de changement au niveau du calcul de la photometrie (attitude conservative pour ne pas risquer de modifier le calcul de la P2VM), mais ajout de nbFrames dans la structure pour pouvoir remonter au flux total. EOF %ACTION{ closed="23-Jun-2007" closer="" created="23-Jun-2007" creator="Main.GerardZins" due="27-Jun-2007" notify="" state="closed" uid="000154" who="Main.GerardZins" }% Implementer le calcul de l'erreur du spectre de la P2VM; bruit de detecteur neglige %ACTION{ closed="BAD DATE see ActionTrackerPlugin#DateFormats" closer="" created="23-Jun-2007" creator="Main.GerardZins" due="27-Jun-2007" notify="" state="open" uid="000155" who="Main.GillesDuvert" }% <<EOF Mettre a jour le calcul du spectre et de son erreur pour les oi-data. GZ - 23/06 - Modification du code pour ne plus moyenner et calculer l'erreur en negligeant le bruit de detecteur. EOF %ACTION{ created="23-Jun-2007" creator="Main.GerardZins" due="25-Jun-2007" state="open" uid="000156" who="Main.FlorentinMillour" }% Transmettre a Gilles le jeu de donnees pour la validation de la calibration spectrale avec 'normalisation' avec la spectre P2VM %ACTION{ created="23-Jun-2007" creator="Main.GerardZins" due="27-Jun-2007" state="open" uid="000157" who="Main.GillesDuvert" }% Valider de la calibration spectrale avec 'normalisation' avec la spectre P2VM %ACTION{ created="23-Jun-2007" creator="Main.GerardZins" due="27-Jun-2007" state="open" uid="000169" who="Main.GillesDuvert" }% Modifier amdlibComputeP2vm si la calibration spectrale avec 'normalisation' avec la spectre P2VM n'est pas validee %ACTION{ closed="23-Jun-2007" closer="" created="23-Jun-2007" creator="Main.GerardZins" due="27-Jun-2007" notify="" state="closed" uid="000158" who="Main.GerardZins" }% <<EOF Ajouter la possibilite d'indiquer des offsets pour la calibration spectrale au niveau de amdlibComputeP2vm dans le plugin Ajout de l'option shifts a la fonction amdlibComputeP2vm EOF %ACTION{ created="23-Jun-2007" creator="Main.GerardZins" due="27-Jun-2007" state="open" uid="000159" who="Main.FlorentinMillour" }% Implementer la verification de la calibration spectrale dans amdlibShowRawData en utilisant la P2VM %ACTION{ closed="25-Jun-2007" closer="" created="23-Jun-2007" creator="Main.GerardZins" due="27-Jun-2007" notify="" state="closed" uid="000160" who="Main.FlorentinMillour" }% Reduire le nombre de fenetres dans =amdlibShowP2vm" %ACTION{ created="23-Jun-2007" creator="Main.GerardZins" due="27-Jun-2007" state="open" uid="000161" who="Main.FlorentinMillour" }% UM - Ajouter un paragraphe sur la calibration des visibilites, avec 'disclaimer' %ACTION{ closed="23-Jun-2007" closer="" created="23-Jun-2007" creator="Main.GerardZins" due="27-Jun-2007" notify="" state="closed" uid="000162" who="Main.GerardZins" }% <<EOF Aligner les noms de programmes 'shell' avec ceux du plugin, tout en gardant la conservant les noms precedents. Ajout des fonctions amdlibComputeOiData & amdlibPerformFrameSelection EOF %ACTION{ closed="23-Jun-2007" closer="" created="23-Jun-2007" creator="Main.GerardZins" due="27-Jun-2007" notify="" state="closed" uid="000163" who="Main.GerardZins" }% <<EOF Inclure les fichiers de 'bad pixels' et 'flat field' dans les donnees alfara, en precisant qu'ils ne doivent pas etre utilises pour les donnees d'observation. Fichiers amdmsBadPixelMap.fits et amdmsFlatFieldMap.fits ajoute a alfara_2T.tgz Warning ajoute sur http://www-laog.obs.ujf-grenoble.fr/twiki/bin/view/Laog/GRIL/Informatique/AmberDrsInstallation#AMBER_Data EOF %ACTION{ closer="" created="23-Jun-2007" creator="Main.GerardZins" due="27-Jun-2007" notify="" state="open" uid="000164" who="Main.FlorentinMillour" }% UM - Mettre a jour la doc parlant de MCS plate %ACTION{ created="23-Jun-2007" creator="Main.GerardZins" due="27-Jun-2007" state="open" uid="000165" who="Main.FlorentinMillour" }% UM - Preciser l'utilsation de 'useSky' et 'useDark'; inclure un paragraphe dans la FAQ %ACTION{ closed="23-Jun-2007" closer="" created="23-Jun-2007" creator="Main.GerardZins" due="27-Jun-2007" notify="" state="closed" uid="000166" who="Main.GerardZins" }% Ajouter amdlibPerformAllFrameSelection dans l'aide de amdlib %ACTION{ created="23-Jun-2007" creator="Main.GerardZins" due="29-Jun-2007" state="open" uid="000167" who="Main.GerardZins" }% Annoncer la mise a disposition de la version Beta de amdlib sur amb-laog et .... Support via jmmc-user-support %ACTION{ closed="23-Jun-2007" closer="" created="23-Jun-2007" creator="Main.GerardZins" due="25-Jun-2007" notify="" state="closed" uid="000168" who="Main.GerardZins" }% Ajouter Fabien, Olivier et Florentin dans la liste jmmc-user-support; prevenir Gaspard et Pierre

Liste des fonctions

Liste des fonctions publiques/privées

Evolutions à l'étude

Il apparait nécessaire de faire évoluer le format des fichiers produits par AMBER DRS pour y inclure le spectre par téléscope, et préciser la signification des données de la la table AMBER_DATA. Les propositions suivantes sont à discuter :

  • Inclure un 'warning' dans le UM concernant le domaine de validite de amdlib lors du traitement de donnees bas flux / bruitees. La valeur du SNR pour des mesures fortement bruitees sont souvent sujet a discussion.

  • Inclure le traitement AMDC (suppression des structures introduites dans les donnees par le detecteur) dans amdlib

  • Corriger les visibilites du piston

  • Ajouter la mesure du 'foreground' dans les templates d'observation

  • Tester amdlib sur Cygwin

  • Preciser dans le UM la difference entre la moyenne des visibilites brutes et la visibilites des donnees 'binnees', en idiquant que le mieux c'est le 'binning', mais qu'a defaut de donnees de 'qualite' il faut selectionner puis moyenner.

  • Implementer la calibration des oi-data.

  • Implementer les deux fonctions amdlibCheckDataQuality + amdlibCheckObsQuality

  • Mettre à jour la bad pixels à partir des données; i.e détection des 'bad pixels' dans les données.

-- GerardZins - 08 Jan 2007

Edit | Attach | Watch | Print version | History: r79 | r77 < r76 < r75 < r74 | Backlinks | Raw View | Raw edit | More topic actions...
Topic revision: r75 - 2007-06-26 - FlorentinMillour
 
  • Edit
  • Attach
This site is powered by the TWiki collaboration platform Powered by PerlCopyright © 2008-2024 by the contributing authors. All material on this collaboration platform is the property of the contributing authors.
Ideas, requests, problems regarding TWiki? Send feedback