Continuous Integration für Eclipse 4 RCP … › wp-content › uploads › slides › V27...maven...

Die Datenbank-Spezialisten.

Continuous Integration für Eclipse 4 RCP-Anwendungen mit Maven/Jenkins/Nexus/Sonar

Hannes Schmidt – 02.10.2015


Eclipse-Basics


Plugins, Features, Produkte …

Plugin A

Plugin B

Plugin C

Feature A

Feature B

Produkt


Manifest

Manifest-Version: 1.0

Bundle-ManifestVersion: 2

Bundle-Name: EXAMPLE-PROJECT

Bundle-SymbolicName: org.example.project;singleton:=true

Bundle-Version: 3.18.1.qualifier

Require-Bundle: org.apache.log4j;bundle-version="1.2.0";visibility:=reexport

Bundle-ActivationPolicy: lazy

Bundle-RequiredExecutionEnvironment: JavaSE-1.6

Export-Package: org.example

Import-Package: org.osgi.framework;version="1.7.0";resolution:=optional


Projektanalyse vor Eclipse RCP


Stand vor Eclipse RCP-Projekt

Ticketsystem Eigenentwicklung

Versionsverwaltung Eigenentwicklung

Ticket- und Versionsverwaltung auf selber DB, arbeiten eng miteinander zusammen

Applikationsstart über Java Webstart


Stand vor Eclipse RCP-Projekt

Ticket kapselt installierbaren Patch

pro Werktag 20 – 40 Tickets Durchsatz

jeder Kunde hat anderen Patchstand

Installation eines Patches mittels Apache Ant


Modultypen

Datenbankmodule (Tabellen, Sequenzen, Trigger, Packages, Views, Types …)

Datenbankskripte (Stammdaten, Datenmigration)

Java-Module, über Eclipse exportiert

Oracle-Forms-Module (Maske, Bibliothek)


Probleme

veraltete Technologie (Oracle Forms)

Komplexität: ~1000 Forms-Masken, +20000 DB-Module

sehr modulare Auslieferung

extrem kurze Patchzyklen


Continuous Integration


Continuous Integration

„Beschreibt den Prozess des fortlaufenden Zusammenfügens von Komponenten zu einer Anwendung.“


Motivation für CI

kurze Patchzyklen im Projekt

Release-Aufwand war mit vorheriger Technologie sehr gering

Entwicklungsgeschwindigkeit musste gleich bleiben

im RCP-Projekt sollte der Release-Aufwand genauso niedrig sein


Tools für CI

Versionsverwaltung

Repository-Manager

Build-Automatisierung

Continuous Integration Tool

Tool für Code-Qualität


Versionsverwaltung


Versionsverwaltung

Subversion

CVSGit

Mercurial

Bitkeeper

zentralisiert

verteilt


Variante 1

core core-test

Plugin Plugin.test

SCM-Repository A

branches

tags

trunk

branches

tags

trunk

…

…


Variante 2

core

Host

SCM-Repository A

branches

tags

trunk

Plugin

Test


Repositories


p2 Repository

Equinox Sub-Projekt

Updateseite

Erstellen der Compile-Umgebung

content.xml

artifacts.xml

features/

plugins/

a.feature_1.0.0.xml

a.plugin_1.0.0.jar


Maven2 Repository

lokal

intern

öffentlich

org

example

example-project

1.0.0

example-project-1.0.0.jar

example-project-1.0.0-source.jar


Repository-Manager


Repository-Manager

Archiva

Artifactory

Nexus


Konfiguration Repositories

m2-Snapshot-Repo

m2-Stable-Repo

p2-Snapshot-Repo

p2-Stable-Repo

mavendeploy

release

p2-Third-party-Repo

special

P2-Capability P2-Capability



Apache Ant

Apache Maven

Gradle

Eclipse PDE


Maven

Lebenszyklus

– validate, compile, test, install, deploy…

Project Object Model

Convention over Configuration

Abhängigkeitsmanagement


Tycho

Extension für Maven

Manifest-first

unterstützt Bundles, Fragmente, Features, Update-Sites …

kaum Redundanz in Metadaten bei POM und Manifest


Jarcontent.xml

PluginsTargetmanifest.mf

Tycho – Funktionsweise

pom.xml Repository

src/


Maven Konfigurationsbaum

company-parent

tycho-parent

project-parent

core-parentmasks-parent maskparts-parent

A BC D E F

Parent und Reaktor


Plan

RCP-Quellenbestehende Prozesslandschaft

?


Maven Release Plugin – Preparation Goals

<preparationGoals>

org.codehaus.mojo:build-helper-maven-plugin:1.8:parse-version

org.eclipse.tycho:tycho-versions-plugin:${tycho.version}:update-pom

org.eclipse.tycho:tycho-versions-plugin:${tycho.version}:set-version

-DnewVersion=${parsedVersion.majorVersion}.${parsedVersion.minorVersion}.

${parsedVersion.incrementalVersion}

scm:checkin

-Dincludes="META-INF/MANIFEST.MF"

-Dmessage="[maven-release-plugin] sync manifest and pom version[${parsedVersion.majorVersion}.${parsedVersion.minorVersion}.${parsedVersion.incrementalVersion}]"

-Dtycho.mode=maven

</preparationGoals>


Maven Release Plugin – Completion Goals

<completionGoals>


org.eclipse.tycho:tycho-versions-plugin:${tycho.version}:update-pom

org.eclipse.tycho:tycho-versions-plugin:${tycho.version}:set-version

-DnewVersion=${parsedVersion.majorVersion}.${parsedVersion.minorVersion}.

${parsedVersion.incrementalVersion}.qualifier

scm:checkin

-Dincludes="META-INF/MANIFEST.MF"

-Dmessage="[maven-release-plugin] sync manifest and pom version[${parsedVersion.majorVersion}.${parsedVersion.minorVersion}.${parsedVersion.incrementalVersion}.qualifier]"

-Dtycho.mode=maven

</completionGoals>


Maven Release Plugin – weitere Konfiguration

<goals>deploy,signservice:sign,de.robotron.maven.plugins:rvcs-maven-plugin:${rvcs.version}:checkin</goals>

<remoteTagging>false</remoteTagging>

<suppressCommitBeforeTag>true</suppressCommitBeforeTag>

<useReleaseProfile>false</useReleaseProfile>


Target-Definition-Dateien


Aufbau

<target name="plugin-target" sequenceNumber="1">

<locations>

<location includeAllPlatforms="false" includeConfigurePhase="true" includeMode="slicer" includeSource="true" type="InstallableUnit">

<repositorylocation="http://nexus.example.com/content/repositories/repoA/.meta/p2/"/>

<unit id="com.example.plugin" version="1.1.1.c201507281332"/>

<unit id="com.example.plugin.source" version="1.1.1.c201507281332"/>

</location>

<locations>

</target>


unstable-plugin-target

entspricht dem Trunk im Subversion

zum Bauen von Snapshots

automatische Aktualisierung nach Snapshot-Build

keine Tags, immer Version 1.0.0-SNAPSHOT


stable-plugin-target

enthält alle über Maven Release freigegebenen Module

zum Bauen von Stable-Plugins (Maven Release)

automatische Aktualisierung nach Maven Release



feature-target

enthält alle Features des Projekts

zum Materialisieren von Produkten

händische Aktualisierung



running-number-plugin-target

pro möglichem Patchstand ein Tag

Trunk enthält den zurzeit freigegebenen Patchstand

zum Bauen von Hotfixes



JenkinsHudson

Bamboo


regular regularregular regular regular regular

nightlynightlynightly

Jenkins Job Overview

core-parentmasks-parent maskparts-parent

A BC D E F


Jenkins Jobverwaltung

Jenkins-Maven-Plugin

Job im XML definieren

Vererbung

kaum C&P-Fehler

Plugin erzeugt config.xml

Publish über Jenkins REST-API


Einen Job anlegen

<job><id>pluginA</id><parent>common-deploy</parent><repository>

<remote>http://svn/core/trunk/pluginA</remote><local>.</local>

</repository></job>


API zur Verfügung stellen

Moduljobgav update-

target-file-job

update-target-file-job SVNtarget.xml

Nexus


Deployment auf Entwicklungs-Application-Server

Moduljobgav update-

target-file-job

jar

Applserv

gav deploy-to-applserv-job

deploy-to-applserv-job

Nexus


Module Release

Maven-release-plugin, Jenkins Maven Release Plug-in Plug-in


Buildflow

manche Jobs haben Vorgänger …

CloudBees Build Flow plugin

– kann Build-Pipelines abbilden

– einfache DSL build( "job1" ) build( "job2" ) build( "job3" )


Third-Party


Third-Party Repository erstellen

Nexus-Site

pom.xml

org.reficio:p2-maven-plugin

P2-Repocp / scp


org.reficio:p2-maven-plugin Beispiel


Konfiguration ohne manifest.mf


Third-Party releasen

alle Plugins aus Feature-repo runterladen

wenn BSN nicht mit „your.domain.“ beginnt

über API ins Ticketsystem, wenn API-Version dort noch nicht vorhanden ist


Unit Tests


URL-Trigger

Test-Job Nexus

latest unstable-plugin-target

Starte Job

Version von Host geändert


Unit Tests – warum so kompliziert? SVN-Struktur

core core-test

Plugin Plugin.test

trunk trunk

Host

…

Plugin

Test


pom.xml

pom.xml

Unit Tests – neuer Ansatz

Job SVN

Generische Reaktor-POM

Host

Test

pom.xml

Host

Test

schnelleres Feedback

weniger Jobs


Code-Qualität


Code-Qualität

SonarQube

manuell automatischPMD

CheckstyleFindbugs

SonargraphInspektion

AuditPair Programming

Walkthrough

Atlassian Crucible


Sonar

Nightly Build aktualisiert Sonar

deshalb lokale Analysen:

– Sonarqube for Eclipse

– Preview-Analysis mit maven-sonar-plugin und HTML-Report

Sonar-Analyse vor dem Release

… langsames Feedback


Quality Gates


Release Sonar Test

Build Breaker-Plugin für Sonar

erreicht die Sonar-Analyse vor dem Release das Quality-Gate nicht, dann wird das Release abgebrochen


Release Sonar Test Umsetzung

Release-Build

IS_RELEASEBUILD

SNAPSHOT-Build

ConditionalBuildStepPlugin

mvn -B -e sonar:sonar

-Dsonar.profile="Profilname"

-Dsonar.qualitygate="QualityGateName"

-Dsonar.buildbreaker.skip=false

-Dsonar.branch=release

-P maven-sonar-release,module-release


Weitere Integrationstests


Schritte nach Maven-Release

Integration des Patches auf das Integrationssystem mittels Apache ANT

Nach Deployment folgen Integrationstests …


Entity-Integration-Test

Datenmodell-Änderungen brechen Entitäten-API

Entitäten-API-Erweiterungen werden ohne Datenmodell-Änderung abgegeben

deshalb: Gleichzeitige Integration von Datenmodell-Änderungen und Entitäten Prüfung

– aller abgegebenen Entitäten gegen das Datenmodell

– aller abgegebenen Datenmodelländerungen gegen Entitäten

Bei Inkompatibilität schlägt der Integrationsbuild fehl


OSGi-Integration-Test

OSGi mit allen Bundles starten

OSGi-Konsole: „ss -s installed“

werden Bundles ausgegeben, schlägt der Build fehl

Beispiel-Whitelist: ^.+\.win32.+$


Epilog


Contra

Releasen dauert pro Plugin 10 – 15 min

teils große Abhängigkeitsbäume für Patches

viele Jobs im Jenkins


Pro

häufige Integration (trigger durch commit)

schnelles Feedback

relativ genaue Problemzuordnung möglich

automatisierte Quellcodeanalyse

Vorbereitung für modulare Auslieferung


Fragen?

Hannes SchmidtKonfigurationsmanager

www.robotron.de


Quellen

https://de.wikipedia.org/w/index.php?title=Kontinuierliche_Integration&stableid=144464982

https://de.wikipedia.org/w/index.php?title=Versionsverwaltung&stableid=142123493

https://maven.apache.org/repository-management.html

https://de.wikipedia.org/w/index.php?title=Apache_Subversion&stableid=145933763

https://cwiki.apache.org/confluence/display/MAVENOLD/Repository+Layout+-+Final

https://wiki.jenkins-ci.org/display/JENKINS/Meet+Jenkins

https://wiki.jenkins-ci.org/display/JENKINS/Build+Flow+Plugin

https://de.wikipedia.org/w/index.php?title=Kontinuierliche_Integration&stableid=144464982

https://de.wikipedia.org/w/index.php?title=Versionsverwaltung&stableid=142123493

https://maven.apache.org/repository-management.html

https://de.wikipedia.org/w/index.php?title=Apache_Subversion&stableid=145933763

https://cwiki.apache.org/confluence/display/MAVENOLD/Repository+Layout+-+Final

https://wiki.jenkins-ci.org/display/JENKINS/Meet+Jenkins



Anhang: Tools – Versionen und Plugins


Maven

Version 3.0.4

org.apache.maven.plugins:maven-compiler-plugin:3.1

org.apache.maven.plugins:maven-deploy-plugin:2.7

org.apache.maven.plugins:maven-source-plugin:2.2.1

org.apache.maven.plugins:maven-scm-plugin:1.9

org.apache.maven.plugins:maven-release-plugin:2.3.2


org.reficio:p2-maven-plugin:1.0.2


Tycho

Version 0.19.0

org.eclipse.tycho:tycho-packaging-plugin

org.eclipse.tycho:tycho-source-plugin

org.eclipse.tycho:target-platform-configuration

org.eclipse.tycho:tycho-versions-plugin:update-pom

org.eclipse.tycho:tycho-versions-plugin:set-version


Jenkins

Version 1.546

Jenkins Xvfb plugin 1.0.12

Jenkins URLTrigger Plug-in 0.37

Rebuilder 1.20.0

Timestamper 1.6.2

Jenkins Maven Release Plug-in Plug-in 0.13.0

Jenkins Sonar Plugin 2.1

conditional-buildstep 1.3.3

CloudBees Build Flow plugin 0.18

http://wiki.jenkins-ci.org/display/JENKINS/Xvfb+Plugin

http://wiki.jenkins-ci.org/display/JENKINS/URLTrigger+Plugin

http://wiki.jenkins-ci.org/display/JENKINS/Rebuild+Plugin

http://wiki.jenkins-ci.org/display/JENKINS/Timestamper

http://wiki.jenkins-ci.org/display/JENKINS/M2+Release+Plugin

http://docs.codehaus.org/display/SONAR/Hudson+and+Jenkins+Plugin

https://wiki.jenkins-ci.org/display/JENKINS/Conditional+BuildStep+Plugin



Nexus

Version 2.5.1-01

Nexus p2 Repository Plugin 2.3.2


Sonar

Version 4.5.5

Build Breaker 1.1

Issues Report 1.3

http://sonar.robotron.de/updatecenter#plugin

http://sonar.robotron.de/updatecenter#plugin

Continuous Integration für Eclipse 4 RCP … › wp-content › uploads › slides › V27...maven...

Documents

Transcript of Continuous Integration für Eclipse 4 RCP … › wp-content › uploads › slides › V27...maven...