JMMCSearchCalCDSCatalogAnalyseVersionMar2010 < Jmmc/Software

---+!! <center>Analyse de la Version du 12 mars 2010 du Catalogue CDS</center>

%TOC%

---++ Etude statistique du catalogue pour détecter toute éventuelle aberration
La version analysée du catalogue CDS date du 12/03/2010 et contient 38541 calibrateurs filtrés pour 21417 VOTables.%BR%
Il aura fallu 2 jours, 16 heures et 8 minutes pour l'obtenir, avec la version sclsvr 3.6.4 (avec limite de recherche CDS à 1000).%BR%

---++ Discrétisation de V-R et V-I
Après découverte par Main.GillesDuvert puis étude par Main.XavierDelfosse sur sollicitation de Main.SylvainLafrasse et Main.DanielBonneau, il s'avère bien que cette discrétisation soit due à la méthode de calcul de R et I à partir du type spectral qui est lui-même discrétisé, et de B et V.

<img src="%ATTACHURLPATH%/V-I.gif" alt="V-I.gif" width='515' height='400' />
<img src="%ATTACHURLPATH%/V-R.gif" alt="V-R.gif" width='515' height='400' />

---++ Déficit d'étoiles et de VOTable par rapport à la version de février
Il manquait 151 calibrateurs et 116 VOTables, sans explications apparentes. Elles ont toutes été re-générés sans problème, gagnant pour le coup :
   * 61 nouveaux calibrateurs;
   * 21530 VOTables;
   * 38742 diamètres.

63 autres VOTables contiennent aussi un nombre supérieur d'étoiles (entre 1 et 174 de plus !), plus 1 avec moins de sources (box_RA+07:12:00.000_DEC+51:00:00.000, qui après relance retourne le même nombre de sources qu'avant).
%ACTION{ closed="2010-03-22" closer="Main.SylvainLafrasse" created="2010-03-22" creator="Main.SylvainLafrasse" due="2010-03-26" notify="" state="closed" uid="000705" who="Main.SylvainLafrasse" }% Etudier les différences sur cette VOTable, pour savoir si ces changements viennent de chez nous (éventuellement de la mise à jour de la LibC) ou du CDS (quels catalogues ont changé depuis?)

---++ Non-filtrage de CAPELLA
   * Main.DanielBonneau a découvert que CAPELLA était présente de le catalogue final, malgré son référencement dans SBC9 et WDS.
   * Main.SylvainLafrasse conclut que Vizier ne retourne pas les bonnes coordonnées de CAPELLA (par contre HIP26408 répond):
      * 2MASS me donne pour Capella : 	05:16:51360	/ +45:59:52.78
      * WDS et SBC9 eux donnent : 		05:16:41.30	/ +45 59 56.5
      * Donc les coordonnées retournées par SBC9 et WDS sont fausses de plus d'une arcseconde, interdisant tout cross-matching dans sclsvrServer.
   * Main.GillesDuvert pense que c'est un problème CDS sur les coordonnées en époque J1991.25 au lieu de J2000. Mais il n'y a, selon lui, qu'une douzaine d'étoiles dérivant d'au moins 2 arcsecondes en 10 ans, ce qui limiterai grandement l'impact de ce problème sur notre catalogue.
%ACTION{ closed="2010-05-06" closer="Main.SylvainLafrasse" created="2010-04-27" creator="Main.SylvainLafrasse" due="2010-04-30" state="closed" uid="000798" who="Main.DanielBonneau" }% Remonter le bug des époques de coordonnées sur SBC9 et WDS au CDS

---++ Déficit d'étoiles de magnitude inférieur à 2
Main.DanielBonneau a constaté dans son étude que 11 étoiles brillantes manquent potentiellement à l'appel:
   * HIP15863
   * HIP67301
   * HIP26311
   * HIP50583
   * HIP86228
   * HIP90185
   * HIP97649
   * HIP30438
   * HIP7588
   * HIP45238
   * HIP61084

Main.DanielBonneau : Pour toutes ces étoiles, il existe des magR et mag I dans le JP11 et des magJ, magH et magK dans 2MASS

---+++ Explications
 http://jmmc.fr/~mella/JSDCb5Missings/

---++++ HIP 15863
Main.SylvainLafrasse a retracé pour HIP15863. Il s'avère qu'elle est filtrée car sa magnitude en J est absente.
En ce qui concerne HIP 15863, Simbad donne bien les magJ, H et K tirées de 2MASS. Pourquoi donc manquerait-il magJ comme l'indique

Main.GuillaumeMella penche plutot pour : rejetee par le filtrage JSDC - diamvk_confidence != HIGH -

A creuser encore un peu pour etre sur de la raison??
---++++ HIP 30438
Main.GuillaumeMella: rejetee par le filtrage JSDC  - diamvk_confidence != HIGH -
---++++ HIP 45238
Main.GuillaumeMella: rejetee par le filtrage JSDC  - diamvk_confidence != HIGH -
---++++ HIP 67301
Main.GuillaumeMella: rejetee par le filtrage JSDC  - VIS2 absente -
---++++ HIP 7588
Main.GuillaumeMella: HIP7588 a bien un diamvk_confidence HIGH  et c'est l'etape du filtre suivant qui supprime l'etoile
---+++++ TODO: 
determiner le filtre en question!!
---++++ HIP 86228
Main.GuillaumeMella: rejetee par le filtrage JSDC  - diamvk_confidence != HIGH -
---++++ HIP 90185
Main.GuillaumeMella: rejetee par le filtrage JSDC  - VIS2 absente -
---++++ HIP 97649
Main.GuillaumeMella: N'est pas retournée par le serveur
<verbatim>
sclsvrServer - vobs - 2010-09-01T07:19:52.767437 - vobsSTAR.cpp:1014 - 187642: PHOT_JHN_K delta is in +/- 12.5?
sclsvrServer - vobs - 2010-09-01T07:19:52.767486 - vobsMAGNITUDE_FILTER.cpp:188 - star HD 187642 has been removed by the filter 'K mag filter'
</verbatim>

---++ Elimination des etoiles WDS et SBC9 par interrogation Simbad ( 2 juin 2010 )
Simbad peut indiquer pour un identifiant donné l'équivalent dans d'autres catalogues. Cette technique a été utilisée pour récupéré les identifiants WDS et SB9 afin de faire l'identification croisée sans passer par les coordonnées.
Nous avons modifier la generation du nom pour le nom  TYC en integrant les trois identifiants TYCO. Cela elimine 6 etoiles supplementaire (elles avaient un identifiant TYC2 mais pas de TYC1 ou TYC3)

---+++ Interrogation par script:
   * url de reference : http://simbad.u-strasbg.fr/simbad/sim-fscript
   * format du script:
<verbatim>
votable vot1 {
   MAIN_ID
       id(SBC9)
       id(WDS)
}
votable open vot1
---8<---
.....une ligne par etoile....
---8<---
votable close 
</verbatim>

Il suffit donc de récupérer la colonne Name du JSDC en sortie CSV pour fabriquer le fichier.

On constate au passage qu'il y a encore certains identifiants TYCO non reconnus:
<verbatim>
TYC 5274-1318-1
TYC 6425-1838-1
TYC 4328-1781-1
TYC 2880-1969-1
TYC 9161-1289-1
TYC 4751-968-1
TYC  114-1537-1
TYC 2933-1394-1
TYC  154-347-1
TYC 4803-540-1
TYC 8931-1806-1
TYC 8211-279-1
TYC 8976-2499-1
TYC 5619-1257-1
TYC 7384-264-1
TYC 8751-1567-1
TYC 6273-1114-1
TYC 3544-222-1
TYC 7940-1403-1
TYC 2166-91-1
TYC 3559-1552-1
TYC 1618-829-1
</verbatim>


Aussi parmi les TYCXXX , seuls 2TYC avaientt un id WDS: 
   * HD 60683 ( TYC 6543-261-1) WDS J07347-2602 impossible a retrouver dans WDS???
   * LTT12714 ( TYC 833-134-1 ) WDS J10084+1158BC avec min_sep1=4.0 	min_sep2 = 2.5

En sortie du script on recupere une votable (après suppression manuelle des premieres lignes...) que l'on va pouvoir croiser sur le critère 'même Index' de laquelle il ne faut conserver que les wds à separation =< 2 arcseconds. 

--+++ Recuperation des WDS 'proches'
Depuis vizier, recuperer en votable les index, sep1 et sep2. Faire un subset 'sep1<=2 || sep2 <=2' 

---+++ Comptabilisation finale:
Afin de croiser les entrees WDS, il faut créer une nouvelle colonne WDS_id avec seulement l'id WDS : matchGroup(ID_2b,"WDS J([0-9+-]*)") 

Enfin, on peut croiser en mode 'All from 1' WDS_id == WDS. On recupere ainsi une table avec  
38736 etoiles au total dont *38472* a garder (soit 264 etoiles en moins avec le subset : NULL_ID_2 && NULL_WDS). 

Au passage, on note la disparition de Capella qui est WDS(sep1+sep2=0 et SBC9) ;)

---+++ Memo des commandes:
<verbatim>
# aggregation des identifiants SBC9 et WDS:
stilts tmatch2 out='JSDC_v1.0b4TMP1.fits' matcher='exact' values1='$0' values2='$0' join='all1' in1='JSDC_v1.0b4.fits' in2='post_result.vot'

# calcul de l'identifiant WDS pour comparaison:
stilts tpipe in='JSDC_v1.0b4TMP1.fits' out='JSDC_v1.0b4TMP2.fits' cmd='addcol WDS_id matchGroup(ID_2a,\"WDS\ J([0-9+-]*)\")'

# selection des WDS a supprimer:
stilts tpipe in='WDS.vot' out='WDSToRemove.vot' cmd='select (sep1<=2\ ||\ sep2<=2)'

# croisement avec les WDS a supprimer:
stilts tmatch2 out='JSDC_v1.0b4TMP3.fits' matcher='exact' values1='WDS_id' values2='WDS' join='all1' in1='JSDC_v1.0b4TMP2.fits' in2='WDSToRemove.vot'

# selection finale: 
stilts tpipe in='JSDC_v1.0b4TMP3.fits' out='JSDC_v1.0b4TMP4.fits' cmd='select (NULL_ID_2\ &&\ NULL_WDS)' cmd='keepcols Name\ RAJ2000\ DEJ2000\ pmRA\ pmDEC\ Bmag\ Vmag\ Rmag\ f_Rmag\ Imag\ f_Imag\ Jmag\ Hmag\ Kmag\ LDD\ e_LDD\ UDDB\ UDDV\ UDDR\ UDDI\ UDDJ\ UDDH\ UDDK\ plx\ e_plx\ SpType\ Teff_SpType\ logg_SpType'
# affichage du nombre d'etoiles:
stilts tcat in=JSDC_v1.0b4TMP4.fits omode=count

</verbatim>

-- Main.SylvainLafrasse - 15 Mar 2010
Attachments
Topic attachments
I	Attachment	History	Action	Size	Date	Who	Comment
gif	V-I.gif	r1	manage	15.7 K	2010-03-18 - 11:27	UnknownUser
gif	V-R.gif	r1	manage	16.2 K	2010-03-18 - 11:28	UnknownUser
This topic: Jmmc/Software > WebHome > SearchCal > JMMCSearchCalCDSCatalog > JMMCSearchCalCDSCatalogAnalyseVersionMar2010
Topic revision: r16 - 2010-09-01 - GuillaumeMella