Tags:
view all tags
L'objectif de cette maquette est de rendre accessible et interrogeable les donnees presente actuellement sur l'espace http://jmmc.fr/oidata Pour cela nous allons installer une instance de [[http://software.astrogrid.org/doc//p/dsa/2010.3/dsa-catalog/][DSA]] et mettre en place un mini base de données qui regroupera les donnees oidata. Nous réaliserons un [[http://apps.jmmc.fr/~mella/apps-html/oidata/search.php][mini client d'interrogation]] pour montrer la faisabilité en mode web. Par la suite il serait possible de faire une application autonome d'interrogation permettant de fournir a n'importe quelle application VO (par SAMP) l'url du fichier a telecharger... TODO voir comment presenter correctement d'un point de vu semantique VO nos url (appelees ACREF dans SSAP). %TOC% ---+ Composants technique du service de base de données ---++ Service VO (niveau TAP/CS) ---+++ Role Repondre aux interfaces VO ( TAP, CS, VOSI....) et retourner les references (URL) des donnees disponibles. ---+++ Solution retenue Installer la web app DSA qui repond aux standarts TAP (ADQL seulement pour l'instant) ou CS en puisant less données dans un SGBD et rendant des VOtables (ou autres formats...). ---+++ Memo technique DSA * Recuperation de l'appli DSA : http://www.astrogrid.org/maven2/org/astrogrid/astrogrid-dsa-catalog/2010.3/astrogrid-dsa-catalog-2010.3.war * Renommage en proto-oidb-dsa.war * Deploiement a travers tomcat6 : http://jmmc.fr:8080/manager/html * Configuration du fichier /usr/share/tomcat6/conf/Catalina/localhost/proto-oidb-dsa.xml ( a partir du fichier template context.xml ) * Creation du fichier /home/users/swmgr/dsa/proto-oidb-dsa/default.properties Mysql * Creer la structure de la base <verbatim> CREATE TABLE IF NOT EXISTS `oidata` ( `_ra` DOUBLE NOT NULL, `_dec` DOUBLE NOT NULL, `filename` varchar(256) NOT NULL, `targetname` text NOT NULL, `insname` text NOT NULL, `min_wavelength` DOUBLE NOT NULL, `max_wavelength` DOUBLE NOT NULL, `nb_channels` INT NOT NULL, `nb_vis` INT NOT NULL, `nb_vis2` INT NOT NULL, `nb_t3` INT NOT NULL, `url` text NOT NULL, `subdate` timestamp NOT NULL default CURRENT_TIMESTAMP COMMENT 'Date of submission', PRIMARY KEY (`filename`) ) ENGINE=MyISAM DEFAULT CHARSET=utf8 COLLATE=utf8_unicode_ci; </verbatim> DSA * Generer le fichier metadoc qui indique les liaisons a faire pour passer de la DB aux VOtables * Redemmarer la web app A ce point les services VO de DSA sont operationnels, mais il reste a renseigner la base de donnee ---++ Client d'interrogation ---+++ Role Fournir une interface d'interrogation de la base et une visualisation des resultats ---+++ Solution retenue Fournir une mini application web (PHP). Afin de faire un client leger, les formulaires premacheront des requetes types. Les quelques etapes principales etant: * a partir des formulaires (html) d'interrogation, prendre en argument des parametres de requete dans un script PHP * les transmettres a DSA * afficher la VOTable rendue par DSA en HTML pour utilisation ( information, telechargement, redirection vers un visualisateur web ) a l'aide d'un xslt. ---+++ Memo technique Les formulaires travaillent en mode GET afin de montrer au maximum les informations qui circulent. ---++ Alimentation de(s) la base(s) ---+++ Role Rajouter de nouvelles ressources dans la ou les bases du SGBD. Un outil doit permettre d'extraire les parametres essentiels des oifits. ---+++ Solution retenue Cette solution s'appuie sur des solutions deja mise en place au JMMC (cf http://www.jmmc.fr/oival) * Recuperation d'une liste d'URLS d'oifits * pour chaque oifits en recuperer son contenu sous forme XML * le transformer en enregistrement Ascii reprenant les colonnes des tables Mysql séparés par des tabs * Charger le fichier TSV ---+++ Memo technique Le fichier TSV se charge grace a la commande MYSQL =LOAD DATA INFILE '/home/users/mella/oidb.txt' INTO TABLE oidata;= Le dernier enregistrement subdate a une valeur par defaut, du coup son omission dans le fichier TSV n'empeche pas le bon chargement. ---++ Diagramme Architecture <img src="%ATTACHURLPATH%/oidbArch.png" alt="oidbArch.png"/> Concretement, le service VO fournit des VOTables en reponse a des requetes niveau base. Il est utilisé par le portail qui repond a des requetes haut niveau ou des applications VO (client java, portail distant...) Les fichiers Oifits sont heberge le plus simplement derrieres des serveurs web http/ftp. ---+ Commentaires %COMMENT{type="below"}% * Est-il necessaire de faire plusieurs bases ou doit-on avoir une colonne permettant de faire cette distinction tout en facilitant l'interrogation globale? -- Main.GuillaumeMella - 20 Aug 2010 * Comparé au site http://apps.jmmc.fr/oidata les descriptions des fichiers ne sont plus la, ni le fait d'etre rataché à un dataset. On perd donc en fonctionnalité (regroupement par dataset) et en information utilisateur. La resolution de ce probleme peut rapidement prendre de grande dimensions d'un point de technique, quel en est le point de vue des utilisateurs ? Cependant si l'on implement correctement les champs de VORessources, cela repondra a un bon nombre de cas. -- Main.GuillaumeMella - 20 Aug 2010
Attachments
Attachments
Topic attachments
I
Attachment
History
Action
Size
Date
Who
Comment
dia
oidbArch.dia
r1
manage
2.3 K
2010-08-26 - 14:47
GuillaumeMella
created with dia
png
oidbArch.png
r1
manage
13.3 K
2010-08-26 - 14:46
GuillaumeMella
Edit
|
Attach
|
Watch
|
P
rint version
|
H
istory
:
r9
<
r8
<
r7
<
r6
<
r5
|
B
acklinks
|
V
iew topic
|
Raw edit
|
More topic actions...
Topic revision: r7 - 2010-08-26
-
GuillaumeMella
Home
Site map
Jmmc web
Faq web
ProspectiveHRA2014 web
Software web
VltiSchool2010 web
VltiSchool2013 web
VltiSchool2015 web
VltiSchool2018 web
Main web
Sandbox web
DeuxiemePage web
TWiki web
Software Web
Create New Topic
Index
Search
Changes
Notifications
RSS Feed
Statistics
Preferences
P
View
Raw View
Print version
Find backlinks
History
More topic actions
Edit
Raw edit
Attach file or image
Edit topic preference settings
Set new parent
More topic actions
Account
Log In
Register User
Edit
Attach
Copyright © 2008-2024 by the contributing authors. All material on this collaboration platform is the property of the contributing authors.
Ideas, requests, problems regarding TWiki?
Send feedback