Quand OGDI rencontre DataLab…

Nous avons le plaisir de vous annoncer la disponibilité du nouveau kit de démarrage OGDI (Open Government Data Initiative) DataLab sur le Centre de téléchargement Microsoft.

Ce kit constitue la nouvelle version du kit de démarrage OGDI. Le nouveau suffixe DataLab souligne que ce kit est le résultat de la fusion de 2 projets sous licence libre Microsoft Public License (Ms-PL), à savoir :

  • D’une part le kit de démarrage OGDI disponible en version 2a sur le centre de téléchargement Microsoft France ici,
  • Et, d’autre part, le projet communautaire DataLab sur la forge Github jusqu’à ce jour en version 4.

Si l’on ne présente plus le kit de démarrage OGDI dans le cadre de ce blog, arrêtons-nous un instant sur le projet DataLab. Le projet DataLab est un projet de catalogue(s) de données hébergés dans le Cloud Windows Azure au même titre que le kit de démarrage OGDI. Son objectif est de fournir un accès aux données ouvertes incluant le chargement, la consultation, la visualisation, et l'analyse des données ainsi mises à disposition tout en fournissant un accès programmatique unifié aux développeurs via le protocole ouvert de données OData (Open Data Protocol).

Ces deux projets sont dérivés dans la pratique d'une même fondation originelle, en l’occurrence le projet OGDI dans sa version 2 disponible sur la forge CodePlex, et ont développé au fil du temps des fonctionnalités propres. Ainsi, par exemple, au-delà de la correction de bogues et d’une documentation complète, le précédent kit de démarrage OGDI apportait l’évolution vers le .NET Framework 4.0, ASP.NET MVC 3 Razor, et Visual Studio 2010, la disponibilité de packages NuGet pour résoudre les dépendances de la solution, la prise en charge de la localisation, le support du standard RDF (Resource Description Framework) du W3C, la prise en compte des options de requête OData $skiptoken et $select pour notamment l’extension Excel PowerPivot, etc. 

Ils se retrouvent aujourd’hui pour évoluer en synergie et mettre à disposition un socle le plus pertinent possible. Ainsi, le nouveau kit résultant apporte son lot de nouveautés issues des avancées faîtes par les deux parties.

Parmi les principales améliorations fonctionnelles vis-à-vis du précédent kit de démarrage OGDI, nous pouvons ainsi mentionner :

  • Une configuration simplifiée pour un déploiement dans Windows Azure facilité ;
  • L’activation/désactivation de la partie informations analytiques via le fichier de configuration ;
  • L'importation de données au format KML (Keyhole Markup Language, que l'on peut traduire par « langage à base de balises géo-locales »). Il convient de noter à ce propos qu'OGDI DataLab permet d'importer des polygones contenus dans le fichier KML.

Pour ce qui est des principales améliorations techniques, soulignons notamment :

  • Une refonte de l'architecture ;
  • La fusion des instances site Web interactif et service de données avec, à la clé, une économie des coûts d’exploitation dans Windows Azure. Une diminution de 1/3 est au rendez-vous ! Le site Web Interactive SDK devient au passage le DataBrowser, site de visualisation de données.
  • L’optimisation et la factorisation du code ;
  • L’intégration de scripts de compilation automatisés pour un déploiement simplifié ;
  • Etc.

Regardons cela d’un peu plus près avec un premier zoom rapide sur 2 apports de cette nouvelle version du kit.

Un déploiement dans Windows Azure facilité !

Basé à la fois sur une mise à jour du SDK Windows Azure 1.4 en version 1.6 et sur une optimisation du code, la configuration du kit de démarrage OGDI DataLab s’en trouve grandement simplifiée.

La centralisation des informations de configuration est effectuée désormais dans deux fichiers : DataBrowser.WebRole et DataBrowser. WorkerRole du projet DataBrowser.Cloud.

La nouvelle configuration implique seulement 3 paramètres à modifier par fichier : DataConnectionString, DiagnosticsConnectionString et serviceUri.

image

L’importation de données au format KML

Le complément « Utilitaire de conversion KML vers CSV » (Kml2Csv) du précédent kit de démarrage n’est plus nécessaire.

La prise en charge native du format KML facilite l’importation des données provenant des SIG (Système d’Information Géographique) et permet de tracer, en plus des marqueurs, des polygones.

Nous illustrons ci-après rapidement l’importation de polygones via un fichier KML. Pour importer un ensemble de données au format KML représentées par des polygones, le document doit présenter la syntaxe suivante :

<kmlxmlns="https://www.opengis.net/kml/2.2">

  <Document>

    <name></name>

    <Placemark>

     <name>00009df5-7a1f-439b-bfc1-caede7182208</name>

      <description><![CDATA[Texte de description 1]]></description>

      <Polygon>

        <outerBoundaryIs>

          <LinearRing>

           <coordinates>48.12259166137437 -1.6922574639320275,48.12259166137437

             -1.692472040653219,48.12307866940367 -1.6921287178993127,48.12402402475037

             -1.6924291253089807,48.12476883792095 -1.7003684639930627,48.12611520355229

             -1.700110971927633,48.124998009031394 -1.700110971927633</coordinates>

          </LinearRing>

        </outerBoundaryIs>

      </Polygon>

    </Placemark>

    …

</Document>

</kml>

Un tel fichier KML peut désormais être importé directement par le chargeur de données (DataLoader) du kit de démarrage OGDI DataLab.

Le site Web interactif (DataBrowser) d’OGDI DataLab permet très facilement de visualiser le résultat, ici avec Bing Cartes.

image

En guise de conclusion

En unifiant les projets Kit de démarrage OGDI v2a et DataLab v4, tous deux fondés à l'origine sur un même socle commun, à savoir OGDI v2, OGDI DataLab v5 apporte un socle OGDI unifié, étendu et commun pour le plus grand bénéfice de tous, une unicité des développements au sein d’une même communauté désormais hébergée sur Github pour un écosystème renforcé. Il sera bientôt disponible sur Github.

image

Le nouveau code, le Wiki, l’ouverture et le suivi des problèmes de cette version, etc. seront très prochainement disponibles sur https://github.com/openlab/datalab.

Dans l’intervalle, cette version est d’ores et déjà disponible sur le Centre de téléchargement Microsoft France ici. N’hésitez pas à la télécharger.