Comment créer un Python virtualenv dans Jenkins?

Je suis à l'aide d'un Makefile afin d'assurer l'uniformité de simples commandes pour la création d'un virtualenv, l'exécution de tests, etc. J'ai configuré mon Jenkins instance de tirer à partir d'un mercurial repo et puis "faire virtualenv", qui fait ceci:

virtualenv --python=/usr/bin/python2.7 --no-site-packages . && . ./bin/activate && pip install -r requirements.txt

Mais pour une raison quelconque, il insiste sur l'utilisation du système installé pip et d'essayer d'installer mon paquet de dépendances dans le système de site-packages plutôt que de le virtualenv:

error: could not create '/usr/local/lib/python2.7/dist-packages/flask': Permission denied

Si j'ajoute un peu de débogage commandes et explicitement point de la pip dans mon virtualenv, les choses deviennent encore plus de confusion:

virtualenv --python=/usr/bin/python2.7 --no-site-packages . && . ./bin/activate && ls -l bin && which pip && pwd && ./bin/pip install -r requirements.txt

Qui génère la sortie suivante:

New python executable in ./bin/python2.7
Not overwriting existing python script ./bin/python (you must use ./bin/python2.7)
Installing setuptools, pip...done.
Running virtualenv with interpreter /usr/bin/python2.7

Il semble Jenkins ne pas reconstruire l'environnement à partir de zéro pour chaque build, ce qui me semble une drôle de choix, mais ne devrait pas l'effet de mon problème immédiat

De la sortie de ls-l bin" montre pip pour être installé dans le virtualenv et exécutable:

-rw-r--r-- 1 jenkins jenkins    2248 Apr  9 21:14 activate
-rw-r--r-- 1 jenkins jenkins    1304 Apr  9 21:14 activate.csh
-rw-r--r-- 1 jenkins jenkins    2517 Apr  9 21:14 activate.fish
-rw-r--r-- 1 jenkins jenkins    1129 Apr  9 21:14 activate_this.py
-rwxr-xr-x 1 jenkins jenkins     278 Apr  9 21:14 easy_install
-rwxr-xr-x 1 jenkins jenkins     278 Apr  9 21:14 easy_install-2.7
-rwxr-xr-x 1 jenkins jenkins     250 Apr  9 21:14 pip
-rwxr-xr-x 1 jenkins jenkins     250 Apr  9 21:14 pip2
-rwxr-xr-x 1 jenkins jenkins     250 Apr  9 21:14 pip2.7
lrwxrwxrwx 1 jenkins jenkins       9 Apr 10 19:31 python -> python2.7
lrwxrwxrwx 1 jenkins jenkins       9 Apr 10 19:31 python2 -> python2.7
-rwxr-xr-x 1 jenkins jenkins 3349512 Apr 10 19:31 python2.7

La sortie de "qui pip" semble vouloir utiliser le bon:

/var/lib/jenkins/jobs/Run Tests/workspace/bin/pip

Mon répertoire de travail actuel est ce que j'attends:

/var/lib/jenkins/jobs/Run Tests/workspace

Mais... wtf?

/bin/sh: 1: ./bin/pip: Permission denied
make: *** [virtualenv] Error 126
Build step 'Execute shell' marked build as failure
Finished: FAILURE

OriginalL'auteur Kenneth D. | 2015-04-10

jenkins virtualenv

11

J'ai à l'aide de python virtualenvs avec Jenkins chaque jour dans les deux dernières années, à de multiples entreprises et pour les petits projets ne peut pas dire que j'ai trouvé "LA" réponse. Encore, j'espère que le partage de mon expérience serait d'aider les autres à économiser du temps. J'espère que je vais obtenir de plus amples commentaires afin de faciliter la décision.
- Éviter ShiningPanda - il pas bien entretenues, incompatible avec Jenkins2 pipelines et empêche l'exécution de tâches en parallèle. Aussi, il a la mauvaise habitude de laisser orphelin environnements sur le disque.
- BRICOLAGE via bash et virtualenv est mon chouchou. Créer à l'intérieur de $espace de travail et, si pas toujours de nettoyage, exécutez amovibles avant de les activer. C'est parce que jenkins dossier workspace emplacement de disque peut changer entre les exécutions de travail N et N+1.
Si vous utilisez plusieurs constructeurs qui n'ont besoin de la même virtualenv, le plus simple est de faire un dump de votre environnement pour un fichier source et au début de la nouvelle builder.

Faciliter la maintenance j'ai l'intention d'enquêter sur ces:
- direnvm
- virtualenv-wrapper (mkvirtualenv)
- pyenv
Si vous frappez l'arborescence en ligne de commande limites de la meilleure chose à faire est de changer votre jenkins répertoire de base à juste /j.

D'accord, même chose pour windows.. simple fichier batch entrés directement dans le "exécuter le fichier de commandes windows" fonctionne à merveille. Puis il suffit d'utiliser python pour saisir les variables d'environnement ou de l'argumentation et à partir de là.

OriginalL'auteur sorin
6

Jenkins pipelines peuvent être faites pour fonctionner avec des environnements virtuels, mais il y a plusieurs choses à prendre en considération.
- Le shell par défaut que Jenkins utilise est /bin/sh - ce qui est configurable dans Gérer Jenkins -> Configurer le Système -> Coque -> Shell exécutable. Mettre ce paramètre à /bin/bash fera source travail.
- Activé venv simplement les changements de variables d'environnement, et les variables d'environnement ne sont pas conservés entre les étapes dans jenkins. Voir withEnv
- Si vous utilisez la version contrôlée multibranch pipelines jenkins crée un espace de travail avec la direction générale nom et une validation de hachage dans le chemin - qui peut être assez long. venv des scripts (par exemple pip) commencent toutes par un hashbang ligne qui inclut le chemin d'accès complet à l'interpréteur python dans la venv (l'interpréteur python lui-même est un lien symbolique). E. g.,
```
~/workspace/ink_feature-use-jenkinsfile-VGRPYD53GGGDDSBIJDLSUDYPJ34QR63ITGMC5VJNB56W6ID244AA/env/bin$ cat pip
#!/var/jenkins_home/workspace/ink_feature-use-jenkinsfile-VGRPYD53GGGDDSBIJDLSUDYPJ34QR63ITGMC5VJNB56W6ID244AA/env/bin/python3.5
```
  Bash ne lit que la première N caractères de n'importe quel fichier exécutable que j'ai trouvé n'a pas tout à fait d'inclure le venv chemin:
```
bash: ./pip: /var/jenkins_home/workspace/ink_feature-use-jenkinsfile-VGRPYD53GGGDDSBIJDLSU: bad interpreter: No such file or directory
```
  Ce problème peut être évité en exécutant le script avec Python. E. g. python3.5 ./pip
OriginalL'auteur Hardbyte
2

Vous pourriez trouver ce plugin Jenkins utile: https://wiki.jenkins-ci.org/display/JENKINS/ShiningPanda+Plugin

Ce plugin ajoute le support de Python pour Jenkins avec quelques constructeurs (Python builder, virtualenv builder, tox constructeur...) et la possibilité d'utiliser un Python axe multi-configuration des projets (pour les tests sur plusieurs versions de Python).

Alors que ce lien peut répondre à la question, il est préférable d'inclure les parties essentielles de la réponse et de fournir le lien de référence. Lien-ne répond peut devenir non valide si la page liée changements.
Vrai, vrai ... Mais il ne doit pas nécessairement répondre à la question si (tss vous ne l'avez pas sur vous :p), donc je devrais probablement avoir commenté au lieu de répondre. Si le lien ne devient invalide, le plugin ne sera probablement pas disponible ... Si vous allez tout le chemin, il doit DONC en mesure de fournir le code source :p . C'est juste une blague et je ne veux pas lancer une polémique! J'ai donc ajouté quelques infos.

OriginalL'auteur Jeroen Dierckx
1

J'ai le même problème. Comme je peux le voir - vous projet nommé 'Exécution des Tests. Donc, ce nom contient un espace. C'était le problème pour moi. J'ai juste renommé projet, comme RunTests - et venv de travail maintenant! Attention - jenkins vous poser des questions sur la confirmation de renommer projet.

Cela a résolu mon problème... Maintenant c'est le temps pour un gros WTF.

OriginalL'auteur Talkerbox

Je vous recommande d'éviter ShiningPanda.

- Je configurer ma environnements virtuels avec Anaconda/Miniconda. Lors de l'installation de conda assurez-vous que vous êtes en cours d'exécution comme jenkins utilisateur.

your_user@$ sudo -u jenkins sh
jenkins@$ wget https://repo.continuum.io/miniconda/Miniconda3-latest-Linux-x86_64.sh
jenkins@$ bash Miniconda3-latest-Linux-x86_64.sh

Depuis Jenkins s'exécute sh plutôt que bash j'ai ajouté conda chemin à /etc/profile:

export PATH="/var/lib/jenkins/miniconda3/bin:$PATH"

Puis dans Jenkinsfile vous pouvez créer et supprimer conda environnements. Voici un exemple qui crée un nouvel environnement pour chaque version:

pipeline {
    agent any
    stages {
        stage('Unit tests') {
            steps {
            sh '''
                conda create --yes -n ${BUILD_TAG} python
                source activate ${BUILD_TAG}
                //example of unit test with nose2
                pip install nose2
                nose2
            '''
            }
        }
    }
    post {
        always {
            sh 'conda remove --yes -n ${BUILD_TAG} --all'
        }
    }
}

OriginalL'auteur Tautvydas

Vous devez vous connecter pour publier un commentaire.