JMMCSearchCalESOCatalogP87Dec2010 < Jmmc/Software

---+!! <center>Catalogue de Calibrateur ESO pour la période 87 (décembre 2010)</center> 

%TOC%

---++ Information de configuration ESO
Les nouveaux paramètres fournis par l'ESO dans un mail de Markus Wittkowski du 14/09/2010 à 14h44 sont : baseline minimale à 11 mètres.

---++ Première version du catalogue : [[http://jmmc.fr/~sclcat/ESO/ESO-run-2010-09-24T13-37-58/][ESO-run-2010-09-24T13-37-58]]
---+++ Statistiques
   * Terminée en 1 jour, 1 heure et 30 minutes (soit 4 fois plus rapide qu'avant...);
   * Contient 20122 étoiles (soit 1958 étoiles de moins);
   * Les statistiques générales sont très proches de la version précédente.
---+++ Remarques de Markus Wittkowski du 4/11/2010 à 12h52
%TWISTY{
mode="div"
showlink="Show&nbsp;"
hidelink="Hide&nbsp;"
showimgright="%ICONURLPATH{toggleopen-small}%"
hideimgright="%ICONURLPATH{toggleclose-small}%"
}%
   * The entry of 'diam_vk', which we use for the conversion to our CalVin-internal list, is usually identical to the entry labeled 'LD' in the published JSDC catalogue. However, for a few cases, these values ('diam_vk' in the ESO run compared to 'LD' in JSDC) are different, sometimes hugely different. Looking at some examples, we guess that the entry in JSDC is correct, and that the entry in the ESO run is wrong. Examples are HIP 23555 or HIP 3682. It seems that this difference happens often, but maybe not only, for calibrators from Borde et al. and Merand et al. Could you please double-check and fix it for the ESO run?
==SL : Solved by JSDC ??? (puisque JSDC n'inclut ni Bordé ni Mérand)==

==DBO:Bien sur le JSDC n'a pas ce problème, mais si l'ESO veut retrouver les étoiles Bordé et Mérand, qu'ils en acceptent les conséquence à savoir quelques étoiles à problème...==
-------

   * We receive from you a filtered list and a full list. We intend to use the filtered list for the CfP version of the tool, and the full list for the expert version of the tool. We see, however, the following problems with the full list:
      * The full list has duplicated entries. Could you please provide the full list with unique lines?
==GM: a mon avis ils utilisent le catalogue 'tres' brut alors que celui ci n'a du etre exploité que pour de la validation en interne au groupe. Je propose de le supprimer pour eviter toute confusion à moins que cela ne manque a un des membres du groupe==
      * The full list has two sets of columns with the same label 'lambda/lambda.origin/lambda.confidence'. In the filtered list, these entries are called 'lambda_old/lambda.origin_old/lambda.confidence_old' and 'lambda_olda/lambda.origin_olda/lambda.confidence_olda'. Could you please use the same labels in both lists?
      * Since we intend to offer the full list for the expert version of CalVin, could you please de-select targets that are not suitable as calibrators?
==SL : Nouveau requirement à ma connaissance - Facile, on a déjà ça sous le coude (also solved by JSDC)==

==GM: qu'entendent 'ils vraiement pas full catalogue et filtered catalogue.==

==DBO: OK, l'ESO na rien à faire de la liste brute (à usage interne JMMC). Il faut leur fournir uniquement une liste la liste filtrée sur tout le ciel (ils pourront toujours limiter en DEC si nécessaire).==
-------

   * We still notice the same problem with calibrators from the CHARM catalogue as reported earlier (i.e. the mismatch between lambda and diameter taken from different lines of CHARM; see the Email from Daniel Bonneau dated 27/08/2010). We suggest to either fix the use of CHARM entries, or to remove the CHARM entries on your side.
==SL : Solved by JSDC ??? (même histoire que Bordé et Mérand?)==

==OC : C'est pour moi le feu vert pour supprimer définitivement toute interrogation à CHARM.==

==DBO: il faut saisir cette occasion pour ne plus utiliser le catalogue CHARM dans SearchCal.==
-------

   * We noticed that a significant part of the calibrators that were present in the current MIDI calibrator list are not a part of your catalogue. Only 61% of the MIDI calibrators are present in the full catalogue, and about 45% in the filtered one. This might be partly because of a misunderstanding of the limiting magnitudes in the faintest mode for the filtered list. A calibrator should be present if it meets the condition V<=17 and at least one of (K<=7.5, H<=7.5, or N<=4.0). Could you please add them.
==SL : Pas si simple : les étoiles manquantes sont sûrement filtrées par les nombreuses précautions prises par SearchCal quant à la cohérence de leurs paramêtres==

==OC : Est-ce que le catalogue a été construit avec le filtre B-V<1 ? Si oui, c'est peut être la raison du déficit (les étoiles les plus rouges sont rejetées).==
-------

   * As agreed, please add the N-band magnitude (or 12 mu flux) whenever this information is available.
==SL : TBD (doc, puis code, puis validation).==

==OC : Je dois préparer une réponse diplomatique à l'ESO sur ce sujet (on ne peut pas trop avancer sur ce sujet, en raison de l'absence de catalogues propres dans cette bande, à part IRAS).==

==GM: ne pas oublier d'integrer l'action en cours de Gilles et Daniel à ce sujet==

==DBO: Pour aller au plus vite, il faut confier à GD le soin de compléter les colonnes F12 (extrait du catalogue IRAS) et N (magN calculée) dans la liste générée avec SearchCal. Pour la suite, il faut prévoir l'implantation d'une requête CDS sur le catalogue AKARI/IRC (II/297) pour en extraire les flux S09  qui permettront de calculer la magN  avec une formule à établir par OC.==
-------

   * Please note that this catalogue will be used for an operational tool at ESO. Please be reminded that the above mentioned problems should also be fixed for all future releases of the catalogue, and that the format of the catalogue should not be changed anymore compared to the format that we have agreed upon in the technical specification document.
==SL : Solved by JSDC - Mais ne va-t-on pas rapidement se retrouver coincé dans ce format si JSDC ou le serveur doivent évoluer ???==
-------

==DBO: en conclusion, pour le 2 décembre 2010, le mieux semble-être:==
==-  de régénérer une liste "filtrées du ciel entier" sans les requêtes au catalogue CHARM,==
==-  de confier à GD le soin de remplir les colonnes F12 et N avec la méthode qu'il maîtrise.==
==Pour la suite, il faudra voir avec le nouveau PI du groupe (OC + PC) si cela vaut le coup d'implanter dans SearchCal une requête CDS dans le catalogue IRAS pour récupérer le flux F12 et calculer magN.==
==Cela sera une sorte d'entraînement à la future utilisation du catalogue AKAI/IRC (II/297).==

%ENDTWISTY%



---++ Deuxième version du catalogue : [[http://jmmc.fr/~sclcat/ESO/ESO-run-2010-11-10T17-12-16/][ESO-run-2010-11-10T17-12-16]]
Cette version n'est plus filtrée en "B-V<1".
---+++ Statistiques
   * Terminée en 1 jour, 6 heure et 40 minutes (soit 5h10 de plus que la version précédente...);
   * Contient 23498 étoiles (soit 3376 étoiles de plus);
   * Les statistiques générales assez proches de la version précédente, sauf:
      * plus de coupure en "B-V<1" (pratiquement la totalité des 3000 nouveaux diamètres);
      * la valeur moyenne des diamètres tant LD que UD remonte significativement - cohérent avec le rougissement induit par la suppression du filtre "B-V<1" ?




---++ Troisième version du catalogue : [[http://jmmc.fr/~sclcat/ESO/ESO-run-2010-11-24T17-10-31/][ESO-run-2010-11-24T17-10-31]]
Cette version n'interroge plus CHARM. Elle a été livrée à l'ESO début décembre et est en ligne (accès restreint) sous : http://jmmc.fr/~sclcat/ESO/Releases/Dec2010WithMagN-3.fits.gz
---+++ Statistiques
   * Terminée en 1 jour, 6 heure et 58 minutes (soit 18 minutes de plus que la version précédente);
   * Contient 27815 étoiles (23454 en dessous de 40°, soit 44 étoiles de moins que précédemment);
   * Les statistiques générales restent assez proches de la version précédente, sauf évidemment plus aucun diamètre LD et UD.



---+++ Ajout à la main de magnitudes N par Main.GillesDuvert - 16 Nov 2010
J'ai demandé les flux iras 12 microns des catalogues II/125 (IRAS catalogue of Point Sources, Version 2.0) *et*  II/156A (IRAS Faint Source Catalog, |b| > 10, Version 2.0 (Moshir+ 1989)). Au total 4115 match sur les 25524 du catalogue 'final.fits' de la 2eme version. J'ai calculé la magnitude N (Colonne N) par la formule proposée par Daniel 
<verbatim>
magN = 4.1 - 2.5*log10(fnu_12/0.89)
</verbatim>. Le nouveau catalogue ainsi augmenté est joint à cette page, en format VOTable compressé (merci Topcat). Attention il y a une dizaine
 de colonnes supplémentaires par rapport au catalogue initial.

J'ai aussi calculé l'intersection de ce catalogue avec le catalogue MIDI. le résultat est [[%ATTACHURL%/subsetWithMIDIcatalogColumns.vot][là]]. Il y a pas mal de différences, en particulier les flux 12 microns du catalogue MIDI sont 1.5x moins  forts que ceux de IRAS. D'où aussi une différence sur les diamètres. ????

Je pense que récupérer IRAS n'est pas suffisant et qu'il faudra calculer N à partir des Teff et des LDD.


---++ Suppression des sb9 et wds
---+++ Memo Guillaume
Ci dessous quelques traces de l'analyse qui a permis d'automatiser le contournement des problemes de crossmatch par coordonnees. Il y a aussi de caché =un ou deux bugs= selon Gilles...
%TWISTY{
mode="div"
showlink="Show&nbsp;"
hidelink="Hide&nbsp;"
showimgright="%ICONURLPATH{toggleopen-small}%"
hideimgright="%ICONURLPATH{toggleclose-small}%"
}%

   * Pour faciliter le travail je rajoute aux filtres eso une colonne Name en suivant :JMMC-SPE-2610-0001
   * Je remarque que nous ne pouvons pas utiliser 2mass facilement (les noms de colonnes ne doivent pas commencer par des valeurs numeriques, $, ...)
   * J'utilise donc HD HIP DM TYCO, mais en consultant les ids SB9 WDS HD DM HIP, <span class="red">simbad se plaint: [Note de Gilles: Comme le catalogue DM s'arrête à DM 325037, et que les DM ci-dessous sont supérieurs à cette valeur, il est clair que ce qui est dans la colonne DM n'est pas un numéro DM!!!->BUG]</span> Guillaume Oui voici a quoi correspond les valeurs transmises par searchcal puisées dans ASCC-2.5 : http://cdsarc.u-strasbg.fr/viz-bin/Cat?I/280B#sRM3.16

<verbatim>
[1192] Identifier not found in the database : NAME DM 2100182
[1590] Identifier not found in the database : NAME DM 1900289
[3237] Identifier not found in the database : NAME DM 2500593
[3470] Identifier not found in the database : NAME DM 1800562
[3718] Identifier not found in the database : NAME DM 1800596
[4089] Identifier not found in the database : NAME DM 1500647
[5598] Identifier not found in the database : NAME DM 3401256
[7348] Identifier not found in the database : NAME DM 501801
[8588] Identifier not found in the database : NAME DM 2302047
[8968] Identifier not found in the database : BD-20  2902
[10681] Identifier not found in the database : HD 303940
[13461] Identifier not found in the database : NAME DM 2002949
[13682] Identifier not found in the database : NAME DM 4002790
[15235] Identifier not found in the database : NAME DM 3402742
[15553] Identifier not found in the database : NAME DM 903217
[15577] Identifier not found in the database : NAME DM 3502832
[16655] Identifier not found in the database : NAME DM 1203280
[17883] Identifier not found in the database : NAME DM 2004038
[18099] Identifier not found in the database : NAME DM 1804020
[18261] Identifier not found in the database : NAME DM 1603862
[18386] Identifier not found in the database : NAME DM 1603911
[18433] Identifier not found in the database : NAME DM 3403645
[18564] Identifier not found in the database : NAME DM 3903923
[18712] Identifier not found in the database : NAME DM 3803839
[19096] Identifier not found in the database : NAME DM 3403982
[19175] Identifier not found in the database : NAME DM 3303908
[19182] Identifier not found in the database : NAME DM 3904196
[19410] Identifier not found in the database : NAME DM 3504219
[20552] Identifier not found in the database : NAME DM 3304384
[21090] Identifier not found in the database : NAME DM 2304558
[21923] Identifier not found in the database : CPD-86   147
</verbatim>
 
   * il y avait aussi des valeurs vides pour Name, je passe donc HIP en premier et rajoute les coordonnees si on ne trouve rien
   * Mais Toujours pas terrible pour les DM qui restent:
<verbatim>
::script::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::

votable {
MAIN_ID
COO
id(SBC9)
id(WDS)
id(HIP)
id(DM)
id(HD)
}
votable open
HIP20
HIP23
HIP33
HIP34
HIP39
HIP38
HIP42
HIP50
HIP55
HIP57
... There are more lines

::console:::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::

C.D.S.  -  SIMBAD4 rel 1.161  -  2010.09.29CEST07:53:26
total execution time: 111.276 secs
simbatch done

::error:::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::

[1192] Identifier not found in the database : NAME DM 2100182
[1590] Identifier not found in the database : NAME DM 1900289
[3237] Identifier not found in the database : NAME DM 2500593
[3470] Identifier not found in the database : NAME DM 1800562
[3718] Identifier not found in the database : NAME DM 1800596
[4089] Identifier not found in the database : NAME DM 1500647
[5598] Identifier not found in the database : NAME DM 3401256
[7348] Identifier not found in the database : NAME DM 501801
[8588] Identifier not found in the database : NAME DM 2302047
[8968] Identifier not found in the database : BD-20  2902
[13461] Identifier not found in the database : NAME DM 2002949
[13682] Identifier not found in the database : NAME DM 4002790
[15235] Identifier not found in the database : NAME DM 3402742
[15553] Identifier not found in the database : NAME DM 903217
[15577] Identifier not found in the database : NAME DM 3502832
[16655] Identifier not found in the database : NAME DM 1203280
[17883] Identifier not found in the database : NAME DM 2004038
[18099] Identifier not found in the database : NAME DM 1804020
[18261] Identifier not found in the database : NAME DM 1603862
[18386] Identifier not found in the database : NAME DM 1603911
[18433] Identifier not found in the database : NAME DM 3403645
[18564] Identifier not found in the database : NAME DM 3903923
[18712] Identifier not found in the database : NAME DM 3803839
[19096] Identifier not found in the database : NAME DM 3403982
[19175] Identifier not found in the database : NAME DM 3303908
[19182] Identifier not found in the database : NAME DM 3904196
[19410] Identifier not found in the database : NAME DM 3504219
[20552] Identifier not found in the database : NAME DM 3304384
[21090] Identifier not found in the database : NAME DM 2304558
[21923] Identifier not found in the database : CPD-86   147

::data::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::
</verbatim>

   * je lutte avec stilts pour utiliser 2MASS (je passe par la notation ucd$ID_2MASS) et il reste encore 3 erreurs!!
<verbatim>
[3718] Identifier not found in the database : 2MASS J04134489+1918194
[6059] Identifier not found in the database : 2MASS J06312124-2037495
[18564] Identifier not found in the database : 2MASS J19484407+3954598
</verbatim>
   * Je passerai bien par les coordonnees seulement, mais il faudrait etre sur que l'on frappe a la bonne etoile chez simbad... l'avis d'un scientifique pourrait m'aider!
   * et c'est encore l'horreur car simbad me remonte 22557 etoiles sur les 22382 dont certaines avec plusieurs identifiants WDS...
   * pour rester optimiste,  on vient de gagner le nom simbad ;-)
-- Main.GuillaumeMella - 29 Sep 2010 8h30 ... A suivre!

Gilles me rappel que le rayon de recherche de simbad est assez grand (2arcmin par defaut). Je le passe a 1arcsecond
Le compte est bon meme s'il reste des erreurs...c'est rigolo les erreurs qd on ne les fait pas ;):

<verbatim>
[27] Identifier not found in the database : 2MASS J04134489+1918194
[43] Identifier not found in the database : 2MASS J06312124-2037495
[106] '18 56 44.3 -18 19 25':
No astronomical object found : 
[116] Identifier not found in the database : 2MASS J19484407+3954598
</verbatim>

   * '18 56 44.3 -18 19 25' il s'agit d'une etoile tire du catalogue primaire CIO (II/225). Il a ete retenu puisqu'il y a une diametre UD dans charm2.
   * 2MASS J04134489+1918194 inconnu . Je recherche par l'id TYC 1259-965-1 et tombe sur HD 284281 qui n'est effectivement pas dans ASCC (I/280)...
   *  '2MASS J06312124-2037495' : Je recherche par l'id TYC 5959-246-1  et tombe sur HD 46233 -- Star in double system 
   * '2MASS J19484407+3954598' ...TYC 3140-2787-1 ... HD 187523

Je vais essayer d'avoir le meme nombre de retour en prenant soit les TYC soit les coords...

Resultat: c'est mieux, mais il faut passer le rayon de recherche a 38arcsec pour retrouver l'etoile CHARM2 et la on retrouve a nouveau beaucoup trop d'etoiles

Le plus simple et prudent serait peut etre de la faire sauter ?
Oui Gilles confirme!

-- Main.GuillaumeMella - 14 Oct 2010
Je viens de me rendre  cmopte que les retour de simbad sont 'plus complet' qu'auparavant: J'ai parfois plusieurs identifiant WDS par source (séparés par des virgules).

L'algo pour crossmatcher est donc encore plus difficile a réaliser.

J'ai l'impression que de prendre le premier suffit. <span class="red">A confirmer!</span>

Avec ca on a pu supprimer ~1000 SBC9 et mauvais WDS qui n'avaient pas été détécté par le serveur (qui lui en avait detecte ~1000 inconnus de Simbad)

Ouf...

Heureusement tout ca se fait maintenant de maniere automatique ;-)

-- Main.GuillaumeMella - 15 Oct 2010
%ENDTWISTY%

---++ Evaluation de l'impact de l'utilisation du JSDC par l'ESO:
| *Colonnes ESO* | *Colonnes JSDC* | *Remarques* |
|Name | Name        | |
|hourRA | RAh                              | |
|minuteRA | RAm                          | |
|secondRA | RAs                       | |
|signDEC | DE-                        | |
|degreeDEC | DEd                     | |
|minuteDEC | DEm                           | |
|secondDEC | DEs                          | |
|epoch | CONSTANT_2000                              | |
|V_band | Vmag                             | |
|R_band | Rmag                             | |
|J_band | Jmag                             | |
|H_band | Hmag                             | |
|K_band | Kmag                             | |
|L_band |                               | GM: idem vsini ?|
|M_band |  | GM: idem vsini ? |
|N_band |  | GM: idem vsini ? |
|Q_band |  | GM: idem vsini ? |
|Sp | SpType| |
|L | Computed_By_ESO_From_SpType| |
|flag | TBD ESO| |
|diameter | LDD| |
|diameterErr | e_LDD| |
|Model | CONSTANT_LDN| |
|Teff | Teff| |
|logg | logg| |
|Mass | CONSTANT_Null| |
|vsini | | ( 1/5 des étoiles ont des valeurs),<br/> Proposition Guillaume: Si exigé par l'ESO: dans le pipeline de construction du JSDC, laisser la colonne RotVel jusqu'a l'avant derniere etape |
|vrad | | ( 7% des étoiles ont des valeurs), Proposition Guillaume:  idem vsini avec RadVel |
|pi | plx| |
|epi | e_plx| |
|pmRA | pmRA| |
|pmDEC | pmDE| |
|z | CONSTANT_NULL| |
|Instrument | TBD ESO| |
|Reference | JMMC(II/300)| |


-- Main.SylvainLafrasse - 24 Sep 2010
   * [[%ATTACHURL%/FinalAvecMagNIras.vot.gz][FinalAvecMagNIras.vot.gz]]: 2eme version du catalogue, augmentée du calcul de MagN à partir de IRAS 12mu

   * [[%ATTACHURL%/subsetWithMIDIcatalogColumns.vot][subsetWithMIDIcatalogColumns.vot]]: intersection of pevious catalog with MIDI catalog
Attachments
Topic attachments
I	Attachment	History	Action	Size	Date	Who	Comment
gz	FinalAvecMagNIras.vot.gz	r1	manage	7112.2 K	2010-11-16 - 16:34	GillesDuvert	2eme version du catalogue, augmentée du calcul de MagN à partir de IRAS 12mu
vot	subsetWithMIDIcatalogColumns.vot	r1	manage	1526.0 K	2010-11-16 - 17:35	GillesDuvert	intersection of pevious catalog with MIDI catalog
This topic: Jmmc/Software > WebHome > SearchCal > JMMCSearchCalESO > JMMCSearchCalESOCatalogP87Dec2010
Topic revision: r24 - 2011-02-10 - GuillaumeMella