Informatique CDC

Talend

Dei Lab

Sophie Haré

Conférence utilisateurs

Octobre 2012

� La Caisse des Dépôts & Informatique CDC

� Contexte de choix

� Existant

� Audit de code

� Conclusion

� La Caisse des Dépôts & Informatique CDC

� Contexte de choix

� Existant

� Audit de code

� Conclusion

Historique

Pour restaurer la confiance, alors que le pays connaît une crisefinancière sans précédent, la loi de 1816 confie à la Caisse desDépôts, la mission de « recevoir, conserver et rendre les valeurs qui luisont confiées, en ayant assuré leur fructification. »

La Caisse des Dépôts

Identité

� La Caisse des dépôts et consignations et ses filiales constituent un

groupe public au service de l'intérêt général et du développement économique du pays

� Ce groupe remplit des missions d'intérêt général en appui des politiques publiques conduites par l'Etat et les collectivités territoriales et peut exercer des activités concurrentielles.

Article L. 518-2 Code monétaire et financier

La Caisse des Dépôts

Missions et priorités stratégiques

� Gestion de mandats publics: fonds des professions juridiques, de régimes de retraite, fonds d'épargne réglementé et transformation de ces fonds en prêts au logement social et renouvellement urbain

� Banquier du service public de la justice et la sécurité sociale

� Investisseur à long terme au service de l’intérêt général du pays et du développement économique du pays

� Priorités 2020 : le logement, les universités, les PME et le développement durable

La Caisse des Dépôts

Informatique CDC

Informatique CDC est un GIE, opérateur global de services informatiques et deconfiance numérique et prestataire de référence de la Caisse des Dépôts

� Deux Etablissements opérationnelsDirection Etudes Informatiques DEI

Conseil, audit et expertise IT, gestion de projet, intégration progicielle, édition de

solution sur mesure, gestion de patrimoine

Direction Production Informatique DPI

Hébergement et exploitation, infogérance applicative et bureautique,dématérialisation

de processus, tiers de confiance numérique

Cette combinaison étude/production est la marque de fabrique d’ICDC, les exigences techniques de l’un et l’autre sont intégrées de façon forte dans les processus (norme d’exploitation, d’exploitabilité, livraison en production, roadmap technique, etc..)

� Chiffres clés � 700 personnes

� 100 grands projets sont menés chaque année, en moyenne

� 1000 applications : le patrimoine applicatif géré pour les membres est considérable

� accédant : 1 million d’utilisateurs ou clients finaux se connectent aux SI gérés

� 1,5 million de transactions sont réalisées chaque jour par les utilisateurs

� bases de données : 3 500 instances administrées

� 2000 serveurs sont hébergés et supervisés dans les datacenters

� 18 700 postes de travail sont gérés (installés, masterisés, mis à jour, dépannés …).

� La Caisse des Dépôts & Informatique CDC

� Contexte de choix

� Existant

� Audit de code

� Conclusion

Patrimoine 2008� Plus de 10 000 batchs en production pilotés par la solution

d’ordonnancement centralisée « Control M » de BMC Software

� Technologie : � Pacbase

� ETI Extract (cible cobol)

� PL/SQL

Roadmap� SOA (une orientation forte concrétisée par la mise en place d’une plateforme EAI

dès 2008)

� Java/JEE depuis 2006 (Ouverture du SI)

� MVS and Pacbase

Conséquence� Introduction de batchs Java dès 2008

� Qualification en terme de volumétrie et de performance comparé à Pacbase sur Unix

� Industrialisation

� Encapsulation des batchs java dans des scripts unix pour « Control M »

Batch Java / Talend

2008 - étude interne sur la modernisation de l’ETL

� BO Data Integrator/ DataStage IBM

� Poids lourd du domaine, offre complète, plateforme d’exécution

� Un challenger Open Source Talend

� Référentiel light

� Peu de connecteurs (ERP, JMS, MainFrame IBM)

� Pas d’analyse de la qualité de données

Choix Talend favorisé par � Orientation Java, concrétisée par les batchs

� Existence d’un centre d’expertise interne en Java/JEE

� Facilitateur de développement de batchs java (développeur non expert)

Intégration Suite

� Prix raisonnable

� Administration centralisée du développement des batchs (contrôle)

� Capitalisation des bonnes pratiques

� Normalisation des batchs

Batch Java / Talend

� La Caisse des Dépôts & Informatique CDC

� Contexte de choix

� Existant

� Audit de code

� Conclusion

Intégration de données

� 21 licences concurrentes

� + 100 développeurs

� 95 projets

� Simples (extraction de base en fichier)

� Complexes (gestion de flux inter applicatif avec piste d’audit, contrôles de format, gestion de rejet…)

Qualité des données

� 2 licences

� Plusieurs « Proof Of Concept »

� Sensibilisation des chefs de projet à la problématique

La suite Talend à ICDCExistant

La suite Talend à ICDCParticularités

Exigences de qualité, normalisation et industrialisation fortes

� Technique

� Un déploiement du serveur spécifique

� Les chaines batch sont exécutées et pilotées via controlM

� Utilisation (accélérateur de développement)

� Une gestion de configuration spécifique

� Organisation

� Une cellule d’expertise, point d’entrée unique à la technologie

� Une mise en place de normes de développement

� Accompagnement, tutorat

� Site intranet dédié, forums

� Des projets référentiels transverses et par métier

� La Caisse des Dépôts & Informatique CDC

� Contexte de choix

� Existant

� Audit de code

� Conclusion

Audit de codeBesoins

Exigences de qualité, normalisation et industrialisation fortes

� Normes

� Adoption facilitée par les développeurs

� Contrôle automatisé, avant audit manuel

� Qualité

� Reporting automatisé et multivues (développeur, chef de projet)

� Industrialisation

� Contrôle de points spécifiques pour l’exploitabilité

� Choix de l’outil complémentaire d’audit de code de Talend

Audit en standard (à partir de la pro-édition)

� Initialement assez difficile à mettre en place car en plusieurs étapes (version 4.X)

� Maintenant disponible en une étape à partir de la plateforme 5.X

� Complet sur les indicateurs mis en place

� Calcul de complexité

� Nombre de composants/job

� Bonnes pratiques graphiques

� Audit de code statistique

� Un rapport unique

� Mise en place d’un audit de code « spécifique » complémentaire

Audit de codePlateforme Talend

Audit de CodeAjouts ICDC

Les besoins particuliers à couvrir

� Présence de tests unitaires

� Respect des règles de nommage et de documentation

� Respect des contraintes liées à la gestion de configuration

� Présentation des composants par famille (Gestion/Initialisation)

� Un audit évolutif et adaptable aux normes de développement

� Un audit exécutable par tous les développeurs (l’audit de code n’est pas un moyen de surveiller le développeur, il doit être un moyen de lui faire comprendre l’utilité des normes de développement)

Audit de CodeAjouts ICDC

Techniquement

� Jobs Talend qui prennent en source les fichiers .item et .properties stockés sous SVN

� Filtrage, transformation et alimentation d’une base de données

� Rapports spécifiques

� Génération du rapport par profil (chef de projet, développeur)

� Exécution du rapport piloté via un portail

Inconvénient

� Dépendance au modèle de stockage des descripteurs d’items

Extraits du rapport généré

Exemples de compléments à l’audit statistiques en standard

� Calcul du nombre de composants « significatifs » par job

� Seuil de tolérance

� Regroupements par type de composants

Extraits du rapport généré

Exemple de contrôles du respect des normes

� Critères pour

l’exploitation

� Tests

� Gestion de

configuration

Extraits du rapport généré

Exemple de contrôles des règles de nommage

Exemple de contrôles d’utilisation de contextes

� La Caisse des Dépôts & Informatique CDC

� Contexte de choix

� Existant

� Audit de code

� Conclusion

Conclusion

Avec ces deux outils complémentaires (Talend et un développement spécifique), nous avons réussi à mettre en place un service d’audit de code pour vérifier la qualité de nos développements

� Début de la mise en place en juin 2012

� Retours plutôt positifs et pertinents

� Début d’une promotion active auprès des projets

Au delà de l’intégration d’outils pour la qualité de données, nos réflexion pour 2013 vont se porter sur la gestion du cycle de vie des données via les concepts et la solution MDM de Talend.

Informatique CDC

Talend

Dei Lab

Sophie Haré

Conférence utilisateurs

Octobre 2012