Model fitting & Image reconstruction

The aim of the "Model fitting & Image reconstruction” (MFIR) working group is to provide software interferometric data processing.

Sprints Roadmap

• Sprint1

Base de données de test

Réunions

Rentrée Sept. 2018

Participants : Guillaume, Laurent B, Isabelle, Michel, Gilles, Eric, Hervé, Ferréol

Ordre du jours

• Déterminer et ordonner les actions prioritaires en vue du 'run' de septembre/octobre de l'équipe technique.

Compte rendu

Softs équipe technique :

• OItools
  • Fonctions de filtrage OK (Selection, merge, copy),
  • OItools CLI interface: https://github.com/JMMC-OpenDev/OITools/wiki/Command-line-interface
  • OItools specs (Vincent): voir JmmcOIFitsToolsVJB
  • Documenter (wiki) / consolider fusion INSNAME, (établir une liste des INSNAME référençant le même instrument/mode)
  • Revoir filtrages supplémentaires: (longueur d'onde) https://github.com/jsy1001/oifitslib/blob/master/src/oifitslib/oifilter.c
  • Regrouper les T3 et les V2 correspondant au moins si la différence de mjd est inférieure au DIT.
• Aspro2
  • Ajout de fonctions de rotation/scaling pouvant être réutilisées
• OIfits:
  • Bien afficher un warning si les mjd des T3 et des V2 diffèrent.
  • Se rapprocher des consortia / ESO pour qu'ils fournissent de OIfits2 valides.

Base de test

• appel lancé à GRAVITY
• données des TPs
• données des beauty contest
• https://github.com/jsy1001/oifitslib/tree/master/testdata
• ( un repertoire existe sur le serveur JMMC mais pas ouvert car pas sur que tout soit publique ).

LITpro

• problème de timeout avec Genfit
  • passage vers service asynchrone
  • écrire un log à chaque itération contenant tout le nécéssaire pour redémarrer genfit
• parallélisations possibles
  • MPI utilisable avec yorick
  • benchmark pour voir quelles sont les parties intéressantes à paralléliser.
• passage XML vers Image-OI
  • plusieurs questions: 1 oifits versus 1 oifits + 1 xml + ... , définitions des keywords

OImaging

• MiRA dans OImaging
• Adapter la GUI aux options de MiRA (hiérarchie)
• Sortie MiRA = table vis complexes:
  • qui doit faire la conversion vers V2 / T3 ? (la GUI? , l'algo (voir code Gilles pour WISARD)
• Améliorer l'ergonomie de la GUI
• Reprendre l'analyse et proposition sur normalisation des inputs + parametres pour l'interface algo/GUI (mail JSY 14/07/2018)

Points pour septembre / octobre (à compléter et ordonner)

1. Se rapprocher des consortia / ESO pour qu'ils fournissent de OIfits2 valides (Gilles)
2. Regrouper les T3 et les V2 avec OItools (Laurent Guillaume)
3. Ticket sur les pb de timeout pour discuter de la solution (Hervé, Laurent, Guillaume, Michel)
4. Benchmark parallélisation genfit (Hervé)
5. Ticket / page wiki définir le passage XML / Image-IO de LITpro (Michel, Guillaume, Laurent, Ferréol, Isa)
6. Base de données (Ferréol)
7. MiRA -> OImaging (Ferréol, Eric + Guillaume et Laurent pour option GUI et Gilles pour la partie V -> V2)

Priorités

Les points le plus urgents sont 7, 2, 3, 5. Pour ce qui concerne MiRA les lyonnais comptent venir à Grenoble fin septembre.

Une autre réunion model fitting est à prévoir en octobre peut être.

Ferréol Guillaume et Laurent feront le point chaque mardi à 11h.

2 mai 2018

Participants : Guillaume, Laurent B, Isabelle, Michel, Gilles, Eric, Hervé, Ferréol + André, Laurent M et Jacques par Visio

• 10h accueil + café
• 10h30 — 12h30 Model Fitting (discussions + atelier)
• 12h30 — 14h00 repas
• 14h00 — 15h00 Visioconf avec André Laurent M et Jacques sur la partie Image Reconstruction et OImaging
• 15h00 — 16h30 Atelier Image Reconstruction

Points à aborder:

• Model Fitting (LITpro)
  • User models
  • Acces au fitter génétique via l'interface
  • Exécution en ligne de commande

• Image Reconstruction
  • MiRA dans OImaging
  • PAINTER dans OImaging

Compte rendu

Voici un compte rendu synthétique (lapidaire?) de ce qui s'est dit. Les tâches à accomplir sont numérotées avec #..

• Equipe technique / OIFitsExplorer
  • #T1 distribution de la rustine de conversion du nom de la table OIFlux de GRAVITY + autres colonnes non standard
  • filtrage des OIFits avec OItools / OIFitsExplorer :
    • #T2 selection target /insname/ config,…
    • #T3 regridding des OIfits pour avoir des V2 pour tout les T3
  • #T4 Warning dans les logiciels pointant vers le filtrage
  • #T5 Fonction de création de la table OI_FLUX à partir d'un fichier externe de SED

• Model Fitting:
  • Fitter locaux
    • #F1 batterie de test: reprendre les TPs pour tester les perfs des fitter
    • #F2 nouveau fitter (BOBYQA)
  • Fitter globaux
    • #F3 GenFit (ajout dans l’interface)
    • #F4 enlever sniffer map étoffer plot Chi2 (redefinir un nouvel onglet pour présenter les résultats)
  • #F5 User functions
  • #F6 OIfits2
  • #F7 sortie OImaging
  • #F8 communication avec OImaging
  • #F9 Barres d’erreur
  • #F10 Effets instrumentaux (smearing, saturation dans VEGA)

• Image Reconstruction
  • #R1MiRA: sortie de l’image + table V(u,v,\lambda) modelisés
  • #R2 Sparco : ajout dès que MiRA est dans OImaging soit sous la forme d’une option à MiRA ou d’une méthode SPARCO/MiRA
  • #R3 OImaging : fonction convertissant V(u,v,\lambda) modélisés en ‘vraie’ sortie OImaging
  • #R4 PAINTER ; ajout dans OImaging
  • #R5 Ecriture OIFits2 en Julia

• Planning à cours terme (d’ici fin septembre)
  • #T1 (Laurent B?)
  • #T2 (Guillaume & Myriam, à voir suivant les autres points d’OIFitsExplorer sur lesquels ils veulent avancer.
  • #F1 (Ferréol)
  • #F2 (Ferréol)
  • #F3 (Hervé + Guillaume) rapidement si c’est simple, en septembre sinon
  • #F4 (Guillaume + Isa + Michel) à voir si ca rentre en septembre
  • #F5 (Michel aimerait le faire en ligne de commande pour l’école VLTI) pas avant septembre pour la GUI avec Guillaume
  • #R1 (Eric)
  • #R2 (Eric + Jacques +Ferréol) invitation de Jacques à Lyon pour le faire
  • #R3 (Gilles)

• moyen terme : le reste

6 février 2018

Participants : Guillaume, Laurent B, Isabelle, Michel, Gilles, Eric, Hervé, André, Laurent M, Ferréol

• Etat des lieux des activités récentes (en lien avec les anciens groupes Model Fitting et Image Reconstruction)
  • • Guillaume: interfaces LITpro, OImaging
    • Laurent B: OImaging
    • Isabelle: LITpro (user function)
    • Michel: LITpro (fitter & user function)
    • Gilles: WISARD (maintenance, OImaging)
    • Eric (CNAP): Lecteur OIfits2, Bandwidth smearing dans MiRA
    • Hervé (CNAP): LITpro (algo génétique)
    • André: maintien PAINTER
    • Laurent M: Expertise
    • Ferréol: vient d'arriver donc rien de concret au JMMC cette année

• Etat des lieux logiciel
  • • OImaging: WISARD (Gilles) et BSMEM seulement
    • LITpro: le plus utilisé mais ne lit pas les OIFITS2
    • MiRA: la version yorick lit/écrit les OIFITS2
    • PAINTER: des utilisateurs demandent des infos mais pas vraiment de retour constructif, pas visible depuis le JMMC

• Feuille de route
  • Court terme
    • LITpro: ajout des user-model avec un site web de partage, ajout d'opérateurs de transformation explicite pour limiter les items dans les menus
    • MiRA: ajout du bandwidth smearing, ajout dans OImaging
  • Aspect polychromatique (Aucun logiciel du JMMC ne fait de polychromatique).
    • LITpro: la variété des modèles polychromatiques possibles empêche de les ajouter dans LITpro (qui propose seulement les principaux modèles avec corps noir) d'où l'intérêt des user-models qui permettent de combiner des modules sans avoir pléthore de briques. Besoin de ré-écrire la structure interne des données pour prendre en compte plus simplement les longueurs d'onde.
    • PAINTER: manque l'écriture de OIFITS2 pour l'inclure dans OImaging. Eric propose de le faire dans le cadre du passage de MiRA à JULIA. Ensuite ajout sur le site du JMMC?
  • A plus long terme
    • LITpro:
      • proposer des nouveaux fitters (fit global),
      • methodes MCMC pour estimer les covariances et les afficher,
      • élaborer une batterie de tests pour évaluer les fitter.
    • Convergence des interfaces des logiciels
      • ajouter une sortie au format OImaging à LITpro pour avoir les mêmes outils de visualisation,
      • utiliser OImaging comme frontal unique?
      • avoir un bouton dans LITpro permettant de charger une image dans OImaging qui servira comme prior ou point de départ
      • via un notebook Jupyter
    • Synergies point de vue code:
      • Beaucoup de languages: yorick, IDL, JULIA. Or la partie gestion de données, lecture/écriture représente une part importante du code.
    • Modèle open source
      • Une partie des codes sur GitHub: PAINTER, MiRA, OImaging
      • Quelques nettoyage avant de rendre LITpro disponible
      • Mettre tous les softs dans l'organisation JMMC sur GitHub (avec OItools,...)?
    • lien avec AMHRA, réfléchir à relier LITpro avec la base de données AMHRA.

• Priorités:
  • Ferréol pense qu'étant donné le faible nombre d'observations avec une couverture suffisante pour faire de la reconstruction d'image, il est peut être plus intéressant de mettre l'accent sur le passage au polychromatique de LITpro et propose de passer plus de temps sur ce point.
  • Michel pense qu'il faut progresser sur la reconstruction d'image polychromatique, en particulier sur la prise en compte des visibilités différentielles, car c'est le meilleur moyen d'identifier les phénomènes dynamiques dans les objets, et que produire des images est le meilleur moyen pour pousser à augmenter la couverture (notamment par des télescopes supplémentaires).

• D'un point vue général (Gilles étant parti au mmoment de cette discussion) il y a peu d'interactions constructives entre les concepteur/mainteneur de logiciel et des utilisateurs. Cela rend difficile l'établissement de priorité. Guillaume propose d’insérer ce problème dans un sondage des utilisateurs du JMMC.