Note de Mathieu : comme nous l'avons signalé à toutes les personnes qui travaillent chez Simple IT, nous leur proposons d'intervenir de temps en temps sur le blog pour présenter les projets sur lesquels ils travaillent. Le but est de varier les sujets et les styles d'écriture en donnant la parole aux employés. Vincent Primault (alias vincent1870), développeur sur le Site du Zéro, est le premier à rédiger un tel billet. Vous le trouverez ci-dessous.
Depuis un an et le billet annonçant la fin du bricolage, de nombreuses choses ont encore évolué sur notre façon de travailler en interne. Ce billet est là pour présenter aux curieux les rouages de notre nouvelle méthodologie de développement, qui se veut plus professionnelle et adaptée à la taille grandissante de Simple IT et du code du site.
Retour sur les faits
Pour rappel, le site est depuis le début de l'année en plein chamboulement puisque nous sommes en train de porter tout le code vers le framework web symfony (dans sa version 1.4). Cette décision n'a pas été prise à la légère et permet d'assurer à terme plus de flexibilité dans le code et d'accélérer le développement de nouveaux modules en utilisant toute la batterie d'outils que symfony met à notre disposition.
Cette démarche de rationalisation du développement ne se résume cependant pas à l'adoption de symfony. Depuis le début de l'été, nous n'avons pas chômé, et plusieurs réflexions importantes ont été commencées concernant la façon même dont nous développons et les processus entourant l'écriture. Le reste de ce billet va traiter de la nouvelle organisation mise en place concernant la mise en ligne des nouveautés sur le Site du Zéro.
Git c'est bien
Comme vous le savez sans doute si vous avez lu les billets précédents, le code source du Site du Zéro est versionné via le logiciel Git. Cet outil indispensable pour nous permet de conserver une trace de toutes les modifications apportées au code du site, quand et par qui. L'outil est actuellement bien exploité, nous utilisons notamment beaucoup le système de branches qui nous permet de cloisonner nos développements et de pouvoir changer rapidement de sujet de travail sans rien perdre.
Si je parle de Git c'est qu'on l'utilise en fait actuellement presque trop, en sortant de ses attributions d'origine. C'est en effet lui qui nous permet actuellement de réaliser nos déploiements. Pour rappel, le déploiement est l'action consistant à faire passer du code de la machine d'un développeur vers le serveur de production, Lisa, qui dessert les pages que vous voyez tous les jours. Une fois le code déployé, tous les visiteurs y ont accès, c'est donc une étape essentielle ! Utiliser Git pour cela est très simple et rapide : il suffit de créer une copie du dépôt sur le serveur de production, de lancer la mise à jour des sources et tout est en ligne quasi-instantanément. Si cet usage est courant, il atteint cependant assez vite ses limites, comme nous nous en sommes rendu compte nous-mêmes.
En effet, depuis la mise en place de symfony, la procédure de mise en production a commencé à s'alourdir . Tout d'abord, il a fallu systématiquement nettoyer le cache de symfony en lançant une commande à l'issue de la mise à jour des sources. Cela peut sembler anodin, mais cela faisait une tâche de plus à la charge du développeur. Et il suffit de l'oublier pour que nos changements soient alors non fonctionnels, et qu'on perde alors du temps à trouver d'où vient le problème (c'est du vécu !).
Les problèmes ont continué lorsque récemment nous avons lancé le projet d'exploiter enfin correctement l'ORM fourni avec symfony (Doctrine) en utilisant ses migrations. En deux mots, c'est un outil très pratique permettant d'automatiser les modifications sur la base de données telles que l'ajout de colonnes ou de tables, avec des facilités telles l'annulation des modifications simplement. Cependant cela fait encore quelques commandes de plus à lancer à chaque déploiement, et ce sur la version de développement et de production. La démarche commençait alors à s'alourdir considérablement, nous avons donc cherché du côté d'outils permettant d'industrialiser ces manœuvres.
Capistrano c'est mieux
Je m'intéressais à ce type d'outils depuis un moment, et je lorgnais déjà de fait sur un outil bien précis, répondant au doux nom de Capistrano. Ces outils ne sont pas très nombreux, et ceux matures le sont encore moins. Capistrano est un outil codé en Ruby et assez réputé dans le domaine. Pour l'anecdote il est notamment utilisé par Twitter pour ses déploiements.
Il faut savoir que Capistrano n'est pas réellement un outil de déploiement, mais que ce n'est en fait qu'un outil de réplication de commandes sur un parc de serveurs. Pour l'instant nous n'avons qu'un serveur web de production, mais cela tombe bien car le jour où nous en aurons plus (ce qui arrivera fatalement un jour ou l'autre pour parer au trafic croissant du Site du Zéro) nous serons déjà prêts ! Actuellement nous nous en servons donc "juste" pour exécuter un jeu de commandes à la chaine.
Il est conçu à l'origine pour déployer des projets Ruby on Rails (un framework de développement web codé en Ruby) mais s'adapte très facilement à d'autres projets. Nous avons pour notre part largement repris la base fournie par le projet Capifony qui était une extension de Capistrano à des projets symfony. Adapter Capistrano nécessite juste de connaitre un peu le Ruby, mais cela se fait très bien. Pour tout dire je n'avais jamais touché au Ruby avant de devoir personnaliser Capistrano, et cela s'est très bien passé, les outils de base couplés à Capifony se laissent facilement prendre en main. Je regrette juste que le site de Capistrano soit un peu anarchique et qu'on ait du mal à trouver ce que l'on cherche.
Lors de ses déploiements, Capistrano conserve un historique de toutes les releases du produit. Cela permet par exemple de pouvoir revenir à une version antérieure de façon instantanée. Il gère également des ressources partagées entre toutes les versions, telles que des fichiers de configuration ou des uploads. Le déploiement en lui-même se fait de façon très simple en lançant une simple commande en console. Pour les curieux, cela donne en pratique une arborescence similaire à ce qui suit sur le serveur de production :
- current
- releases
- 20100820090035
- 20100822090214
- shared
- config/databases.yml
- web/uploads
- log
Chaque sous-dossier dans le répertoire releases contient une extraction du code source de Git à une date donnée (indiquée par le nom du répertoire). current est en fait un simple lien pointant vers la dernière version (c'est pour ça que revenir en arrière est très simple, il suffit de changer le lien !). Enfin shared contient toutes les données partagées, avec par exemple les fichiers de configuration symfony, les uploads ou les logs.
Le serveur web va chercher le site dans current. Comme il s'agit d'un lien symbolique, il utilise en fait le code source de la release sur laquelle il pointe.
Et avec Webistrano...
Pour nous combler pleinement, nous voulions un outil capable d'enregistrer un détail de l'activité de déploiement et capable d'agir différemment en fonction de l'environnement ciblé. Capistrano à la base est flexible à volonté, mais ne permet pas forcément d'organiser son code de façon très propre, et réaliser une personnalisation en fonction de l'environnement ciblé aurait été assez compliqué à gérer pour quelqu'un qui ne connaissait que très peu le Ruby comme moi.
Une solution s'est alors naturellement imposée : Webistrano. C'est en fait une simple interface web (codée en Ruby on Rails) pour Capistrano. Les avantages sont alors multiples :
- La configuration de l'outil se fait de façon très agréable. Cela ne dispense absolument pas de connaitre le fonctionnement de Capistrano mais c'est bien plus visuel que la version en Ruby.
- L'outil gère de façon native la différenciation des environnements de déploiement (par exemple pour nous ceux de pré-production et celui de production).
- Le code de personnalisation est bien mieux organisé, on a la possibilité de partager des bouts de code à travers les projets et les environnements.
- Le déploiement se fait de façon graphique, on récupère les logs en temps réel.
- Chaque déploiement est enregistré, on en garde une trace, et on peut très facilement revenir en arrière si quelque chose se passe mal.
- Capistrano est exécuté sur le serveur hébergeant Webistrano, ce qui permet d'éviter à chaque développeur d'installer et configurer Capistrano en local. Tout est centralisé et partagé.
L'outil s'est jusqu'ici remarquablement bien comporté, s'avérant très ergonomique et surtout accélérant le temps passé à configurer Capistrano. Nous avons juste eu à le modifier très légèrement pour nos besoins, mais de façon très mineure (c'était principalement de l'adaptation pour symfony et un peu de personnalisation visuelle).
Une nouvelle rigueur dans le processus de développement
Tout cela nous amène à avoir une nouvelle rigueur dans le processus de déploiement. Actuellement l'intégration en production se fait tout au long de la journée par les développeurs. Ce processus devient peu gérable, les déploiements devant être planifiés. Nous allons donc progressivement tendre vers une rationalisation des déploiements, qui seront faits environ une fois par jour, à heure fixe, tout en gardant une certaine souplesse dans le cas d'une réelle urgence comme une correction de faille.
De plus, les environnements sont maintenant différenciés plus fortement. Nous exploitons un trio classique d'environnements :
- La version de développement du site, qui est notre version locale. Chaque développeur travaille avec sa version du code et sa base de données. C'est sur cette version que les nouvelles fonctionnalités sont implémentées.
- La version de pré-production du site (aussi appelée de recette) qui est une copie du site en ligne (hébergée sur les serveurs de Simple IT mais non accessible au public). Elle se comporte de façon identique en tout point à la production. Cela nous permet de prévenir au maximum les risques lors du moment fatidique.
- La version de production, accessible à tous à l'adresse http://www.siteduzero.com, est le produit fini.
C'est une évolution de plus dans nos processus internes, et certainement pas la dernière. L'objectif est réellement d'automatiser au maximum de façon à décharger les développeurs des tâches répétitives. D'autres réflexions sur des sujets similaires sont dans les tuyaux, vous en saurez plus prochainement !
Louis a en particulier beaucoup oeuvré sur la boutique et sa migration symfony. Il a développé des compétences insoupçonnées en rétro-ingénierie avec Wireshark ces dernières semaines pour la faire communiquer avec OpenERP. ;o)
Simple IT est depuis 2007 éditeur du Site du Zéro (www.siteduzero.com), aujourd'hui devenu un site de référence auprès de nombreux étudiants et professeurs spécialisés dans les nouvelles technologies. Le site propose des cours pour débutants en informatique, en libre accès. Les sujets traités vont de la création de sites web (XHTML / CSS) à la programmation (C / C++ / Java) en passant par l'utilisation de Linux.