samedi 3 mai 2014

Open Data et Big Data


     Deux concepts d'actualité, il est rare de trouver un domaine métier où l'on en parle pas. La recherche, le médical, l'économie, la finance, les transports, la téléphonie, bien sûr informatique et bien d'autres encore.

     Pour certains ce sont des arguments marketing utilisés pour vendre des applications et du service, comme cela a été fait à une époque avec un autre buzz word cloud.

     Pour d'autres passionés de veille technos ce sont des concepts à définir, suivre et  expliquer avec plus ou moins de succès. Les trois V du BigData  (Volume, Vitesse et Variété) ou encore dans cet article du Guardian.

     Pour d'autres encore, au coeur du sujet, c'est leur travail d'évoluer dans ce champs technologique. Parce que leur métier bénéficie de ces changements ou par ce qu'ils créent des services, des briques technologiques liés à ces concepts.

     Quelques uns conduisent le changement, partagent leur vision du futur et agissent pour que ces virages technologiques amènent plus de positif que de négatif (l'outil est neutre, c'est l'utilisation que l'on en fait qui a des effets de bords dans un sens ou dans l'autre et ceci fonction de l'appreciation de tout un chacun ... bref c'est un autre débat). La plus part d'entre nous vivont les retombés de ces changements dans notre quotidien sans forcément s'en apercevoir.

     Dans les deux cas ce sont des concepts rendus possibles par les avancées technologiques. Dans les deux cas ce sont des petites révolutions qui auront un impact fort sur nos manières d'aborder le quotidien.

Big Data


BigData est plus de l'ordre de la technologie, une manière de traiter l'information devenu possible par
  • les evolutions technologiques (augmentation de la RAM des serveurs, baisse des couts des serveurs, ....). 
  • Des briques applicatives permettant de traiter
    • de manière intelligente des volumes de données plus important (Hadoop, Olap, ...)
    • et/ou d'une manière différente (courant NoSQL : Not Only SQL) 
  • Une évolution dans la manière de penser les applications, les systèmes d'information et leur design. Orientation flux de données plutôt que traitement par batch, on doit être capable de traiter chaque information au moment où elle arrive, visualiser son impact au sein d'un ensemble déjà existant.

Open Data


     Le concept d'Open data est lui est plus une considération rapport à la données qui devient le cœur des enjeux. Afin de la rendre accessible, elle doit être ouverte à tous et ce dans un format facilitant son acquisition et son traitement de manière informatique.

L'une des personnalités fer de lance sur cette thématique Tim Berners Lee :

     A l'open data je vois principalement deux raisons :

     Considération sur la notion de la propriété : ces données nous concernant, dont nous avons facilité l'acquisition (l'individu devenu sonde/capteur de son environnement) nous appartiennent tout autant que les sociétés qui les utilisent et en font commerce. Quand aux données de services publiques, elles doivent également être accessible par soucis de transparence.

     Considération économique, de part l'émulsion positive que cela peut générer. En effet, à travers l'ouverture de ces données, nombre de personnes, startup, sociétés peuvent tester, proposer des utilisations, créer de la valeur. Créant ainsi un formidable et gigantesque laboratoire R&D constitué de ces consommateurs de données ouvertes avec lesquels il est intéressant d'échanger, suivre leurs créations, leurs utilisations.

     Un exemple d'initiative pour illuster ce dernier point : Etalab (http://www.etalab.gouv.fr/) qui était présent à la conférence IT devoxx Paris :
     L'open data est une problématique que se posent aussi bien les entreprises que les états. Quelques états ont commencé à proposer des accès à ces données "ouvertes" :

     Monde interconnecté oblige, il existe une initiative internationale que la France a rejoint en avril dernier (64e pays à le faire) nommé Open Government Partnership :