Chef-client en train de mourir à mi exécuter

Nous avons récemment commencé à avoir des ennuis avec le chef-client en train de mourir au milieu d'une course après avoir pris beaucoup plus de temps coincé sur les différentes parties de la liste qui, normalement, a procédé beaucoup plus rapide. J'ai été sur mon wifi à la maison et mon collègue a été mis sur le travail en wifi, qui a eu quelques problèmes de connectivité de sa propre.

Si votre connexion ssh est interrompu pour une machine alors que le chef-client est en cours d'exécution, n'est que le plantage de l'exécuter en apparence inexplicable moyens? Je suis l'aide de PutTY pour vous connecter à partir de mon Win7 et mon collègue est à l'aide de l'Apple Terminal App.

Toutes les machines que nous avons été en cours d'exécution ce sont sur Ubuntu 12.04 (dans EC2) et avoir beaucoup d'espace libre sur le disque - ils sont seulement en utilisant ~1 GO avec environ 5 go de libre.

Ici est la sortie du journal de /var/log/chef/client.log (ensemble avec le log_location directive /etc/chef/client.rb comme décrit ici).

[2014-01-08T00:27:07+00:00] WARN: Nodejs user is nodejs
[2014-01-08T00:27:07+00:00] WARN: Cloning resource attributes for group[nodejs] from prior resource (CHEF-3694)
[2014-01-08T00:27:07+00:00] WARN: Previous group[nodejs]: /var/chef/cache/cookbooks/nodejs/recipes/default.rb:26:in `from_file'
[2014-01-08T00:27:07+00:00] WARN: Current  group[nodejs]: /var/chef/cache/cookbooks/spicoli-app/recipes/default.rb:38:in `from_file'
[2014-01-08T00:27:07+00:00] WARN: Cloning resource attributes for user[nodejs] from prior resource (CHEF-3694)
[2014-01-08T00:27:07+00:00] WARN: Previous user[nodejs]: /var/chef/cache/cookbooks/nodejs/recipes/default.rb:34:in `from_file'
[2014-01-08T00:27:07+00:00] WARN: Current  user[nodejs]: /var/chef/cache/cookbooks/spicoli-app/recipes/default.rb:46:in `from_file'
[2014-01-08T00:27:30+00:00] WARN: Environment is _default
[2014-01-08T00:27:30+00:00] WARN: Nodejs user is nodejs
[2014-01-08T02:04:54+00:00] ERROR: Running exception handlers
[2014-01-08T02:04:54+00:00] ERROR: Exception handlers complete
[2014-01-08T02:04:54+00:00] FATAL: Stacktrace dumped to /var/chef/cache/chef-stacktrace.out
[2014-01-08T02:04:55+00:00] ERROR: Input/output error - <STDOUT>
[2014-01-08T02:04:57+00:00] FATAL: Chef::Exceptions::ChildConvergeError: Chef run process exited unsuccessfully (exit code 1)

Et l'erreur stacktrace a juste ceci:

Generated at 2014-01-08 02:04:54 +0000
Errno::EIO: Input/output error - <STDOUT>
/opt/chef/embedded/lib/ruby/gems/1.9.1/gems/chef-11.8.0/lib/chef/formatters/base.rb:91:in `write'
/opt/chef/embedded/lib/ruby/gems/1.9.1/gems/chef-11.8.0/lib/chef/formatters/base.rb:91:in `puts'
/opt/chef/embedded/lib/ruby/gems/1.9.1/gems/chef-11.8.0/lib/chef/formatters/base.rb:91:in `puts'
/opt/chef/embedded/lib/ruby/gems/1.9.1/gems/chef-11.8.0/lib/chef/formatters/error_descriptor.rb:61:in `display_section'
/opt/chef/embedded/lib/ruby/gems/1.9.1/gems/chef-11.8.0/lib/chef/formatters/error_descriptor.rb:44:in `block (2 levels) in display'
/opt/chef/embedded/lib/ruby/gems/1.9.1/gems/chef-11.8.0/lib/chef/formatters/error_descriptor.rb:43:in `each'
/opt/chef/embedded/lib/ruby/gems/1.9.1/gems/chef-11.8.0/lib/chef/formatters/error_descriptor.rb:43:in `block in display'
/opt/chef/embedded/lib/ruby/gems/1.9.1/gems/chef-11.8.0/lib/chef/formatters/error_descriptor.rb:42:in `each'
/opt/chef/embedded/lib/ruby/gems/1.9.1/gems/chef-11.8.0/lib/chef/formatters/error_descriptor.rb:42:in `display'
/opt/chef/embedded/lib/ruby/gems/1.9.1/gems/chef-11.8.0/lib/chef/formatters/base.rb:130:in `display_error'
/opt/chef/embedded/lib/ruby/gems/1.9.1/gems/chef-11.8.0/lib/chef/formatters/base.rb:161:in `resource_failed'
/opt/chef/embedded/lib/ruby/gems/1.9.1/gems/chef-11.8.0/lib/chef/formatters/doc.rb:159:in `resource_failed'
/opt/chef/embedded/lib/ruby/gems/1.9.1/gems/chef-11.8.0/lib/chef/event_dispatch/dispatcher.rb:29:in `block in resource_failed'
/opt/chef/embedded/lib/ruby/gems/1.9.1/gems/chef-11.8.0/lib/chef/event_dispatch/dispatcher.rb:29:in `each'
/opt/chef/embedded/lib/ruby/gems/1.9.1/gems/chef-11.8.0/lib/chef/event_dispatch/dispatcher.rb:29:in `resource_failed'
/opt/chef/embedded/lib/ruby/gems/1.9.1/gems/chef-11.8.0/lib/chef/resource.rb:637:in `rescue in run_action'
/opt/chef/embedded/lib/ruby/gems/1.9.1/gems/chef-11.8.0/lib/chef/resource.rb:643:in `run_action'
/opt/chef/embedded/lib/ruby/gems/1.9.1/gems/chef-11.8.0/lib/chef/runner.rb:49:in `run_action'
/opt/chef/embedded/lib/ruby/gems/1.9.1/gems/chef-11.8.0/lib/chef/runner.rb:81:in `block (2 levels) in converge'
/opt/chef/embedded/lib/ruby/gems/1.9.1/gems/chef-11.8.0/lib/chef/runner.rb:81:in `each'
/opt/chef/embedded/lib/ruby/gems/1.9.1/gems/chef-11.8.0/lib/chef/runner.rb:81:in `block in converge'
/opt/chef/embedded/lib/ruby/gems/1.9.1/gems/chef-11.8.0/lib/chef/resource_collection.rb:98:in `block in execute_each_resource'
/opt/chef/embedded/lib/ruby/gems/1.9.1/gems/chef-11.8.0/lib/chef/resource_collection/stepable_iterator.rb:116:in `call'
/opt/chef/embedded/lib/ruby/gems/1.9.1/gems/chef-11.8.0/lib/chef/resource_collection/stepable_iterator.rb:116:in `call_iterator_block'
/opt/chef/embedded/lib/ruby/gems/1.9.1/gems/chef-11.8.0/lib/chef/resource_collection/stepable_iterator.rb:85:in `step'
/opt/chef/embedded/lib/ruby/gems/1.9.1/gems/chef-11.8.0/lib/chef/resource_collection/stepable_iterator.rb:104:in `iterate'
/opt/chef/embedded/lib/ruby/gems/1.9.1/gems/chef-11.8.0/lib/chef/resource_collection/stepable_iterator.rb:55:in `each_with_index'
/opt/chef/embedded/lib/ruby/gems/1.9.1/gems/chef-11.8.0/lib/chef/resource_collection.rb:96:in `execute_each_resource'
/opt/chef/embedded/lib/ruby/gems/1.9.1/gems/chef-11.8.0/lib/chef/runner.rb:80:in `converge'
/opt/chef/embedded/lib/ruby/gems/1.9.1/gems/chef-11.8.0/lib/chef/client.rb:433:in `converge'
/opt/chef/embedded/lib/ruby/gems/1.9.1/gems/chef-11.8.0/lib/chef/client.rb:500:in `do_run'
/opt/chef/embedded/lib/ruby/gems/1.9.1/gems/chef-11.8.0/lib/chef/client.rb:199:in `block in run'
/opt/chef/embedded/lib/ruby/gems/1.9.1/gems/chef-11.8.0/lib/chef/client.rb:193:in `fork'
/opt/chef/embedded/lib/ruby/gems/1.9.1/gems/chef-11.8.0/lib/chef/client.rb:193:in `run'
/opt/chef/embedded/lib/ruby/gems/1.9.1/gems/chef-11.8.0/lib/chef/application.rb:208:in `run_chef_client'
/opt/chef/embedded/lib/ruby/gems/1.9.1/gems/chef-11.8.0/lib/chef/application/client.rb:312:in `block in run_application'
/opt/chef/embedded/lib/ruby/gems/1.9.1/gems/chef-11.8.0/lib/chef/application/client.rb:304:in `loop'
/opt/chef/embedded/lib/ruby/gems/1.9.1/gems/chef-11.8.0/lib/chef/application/client.rb:304:in `run_application'
/opt/chef/embedded/lib/ruby/gems/1.9.1/gems/chef-11.8.0/lib/chef/application.rb:66:in `run'
/opt/chef/embedded/lib/ruby/gems/1.9.1/gems/chef-11.8.0/bin/chef-client:26:in `<top (required)>'
/usr/bin/chef-client:23:in `load'
/usr/bin/chef-client:23:in `<main>'

Qui est vraiment une erreur générique! Mais il ne semble indiquer une interruption STDOUT, le type qui fait sens avec un client déconnexion.

Edit: Comme demandé, voici le contenu de la client.rb fichier (noms d'obfuscation, naturellement.)

$ cat /etc/chef/client.rb
log_level        :auto
log_location     "/var/log/chef/client.log"
chef_server_url  "https://api.opscode.com/organizations/myapp"
validation_client_name "my-validator"
node_name "my-app-node"

Edit 2: d'Essayer d'utiliser sudo su -s /bin/bash root -c "screen chef-client"

Écran interrompue pendant que j'étais au déjeuner et enregistrer un timeout sur la ShellOut de commande pour npm install. C'était après le chef-client était assis coincé sur cette opération pendant plus d'une heure.

[2014-01-09T16:39:07+00:00] WARN: Environment is _default
[2014-01-09T16:39:07+00:00] WARN: Nodejs user is nodejs
[2014-01-09T18:16:28+00:00] ERROR: Running exception handlers
[2014-01-09T18:16:28+00:00] ERROR: Exception handlers complete
[2014-01-09T18:16:28+00:00] FATAL: Stacktrace dumped to /var/chef/cache/chef-stacktrace.out
[2014-01-09T18:16:31+00:00] ERROR: execute[npm-install-app] (spicoli-app::default line 110) had an error: Mixlib::ShellOut::CommandTimeout: command timed out:
---- Begin output of npm --registry http://my.npm.repo.amazonaws.com:5984/registry/_design/app/_rewrite install --cache /home/nodejs/.npm --tmp /home/nodejs/tmp

--- snip: install messages from npm ---

[2014-01-09T18:16:33+00:00] FATAL: Chef::Exceptions::ChildConvergeError: Chef run process exited unsuccessfully (exit code 1)

C'est totalement différente d'une erreur qu'avant. Le stacktrace.out fichier mentionne aussi explicitement ShellOut, il est tout à fait différente. Plus étrangement, lorsque je lance la même commande npm à partir de la ligne de commande, dans des finitions en moins d'une minute.

Donc je ne suis pas sûr qu'il y est un moyen de diagnostiquer l'échec précédent, mais j'aimerais avoir d'autres suggestions. Pour l'entrée sur ce nouvel échec, j'ai demandé à cette question de suivi.

Ce qui se passe, lorsque vous exécutez chef-client dans un screen ou en tant que service?
Merci de poster votre client.rb
Je suis nouveau en cours d'exécution avec la commande sudo su -s /bin/bash root -c "screen chef-client" et je vais vous laisser savoir comment ça se passe dans un peu. Merci pour la suggestion!

InformationsquelleAutor Patrick M | 2014-01-08

2

Si votre connexion ssh est interrompu pour une machine alors que le chef-client est en cours d'exécution, n'est que le plantage de l'exécuter en apparence inexplicable moyens?

Bien, la stacktrace semble sous-entendre que quelque chose comme ce qui se passe. Le message dit "Errno::EIO: Input/output error - <STDOUT>" qui est cohérent avec ce que je m'attends à le voir si STDOUT allait sur un canal SSH qui avaient été fermés.

Je suggère de 2 choses:
- Exécuter chef-client avec toutes les sorties de la console redirigé vers un fichier; par exemple, ajouter > /tmp/log 2>&1 à la fin de la commande. (La redirection doit arriver sur la machine distante.)
- Ajouter -l debug à la commande pour augmenter le niveau de journalisation, comme l' Opscode la FAQ technique. Cela pourrait révéler des indices qui sont actuellement cachés.
Regardant votre deuxième mise à jour, ce qui a les caractéristiques d'une sorte de pare-feu lié au réseau ou à problème.
- Merci Stephen. Je suis d'accord avec vous, surtout depuis l'utilisation de screen a révélé une nouvelle erreur. Venez modifié pour pointer vers mon nouvelle question quant à la nouvelle erreur. Je vais ajouter l'indicateur de débogage pour exécuter et voir si quelque chose de nouveau arrive. Si ça ne marche pas, je vais probablement accepter cette réponse.
- Vous n'avez pas besoin de les "corriger" -ldebug à -l debug. Les anciens travaux. (Ou au moins, elle fonctionne pour moi!!)
- Vous soufflez mon esprit, pour l'arrêter. (Fonctionne pour moi aussi!)
- J'ai fait ce assez de temps pour être raisonnablement certains que le Errno::EIO: Input/output error - <STDOUT> erreur ne se déclenche lorsque le tunnel ssh est interrompu et est seulement de masquer la véritable erreur dans ma recette.
InformationsquelleAutor Stephen C

Vous devez vous connecter pour publier un commentaire.