Xcode 4: Exécuter des tests à partir de la ligne de commande (xcodebuild)?

J'ai créé un tout nouveau iOS projet dans Xcode 4, et inclus des tests unitaires. La valeur par défaut de l'app a 2 objectifs, l'application principale et l'unité de test bundle. À l'aide de "Produit > Test" (Commande-U) génère l'application, construit l'unité de test bundle, lance le simulateur iOS et exécute les tests. Maintenant, je voudrais être capable de faire la même chose à partir de la ligne de commande. L'outil de ligne de commande (xcodebuild) n'a pas un "test" de l'action, mais il semble que je devrais être en mesure de construire l'unité de test faisceau cible directement, car elle dépend de l'application elle-même. Toutefois, en cours d'exécution:

xcodebuild -target TestAppTests -sdk iphonesimulator4.3 -configuration Debug build

vous donne le message suivant:

/Developer/Platforms/iPhoneSimulator.platform/Developer/Tools/Tools/RunPlatformUnitTests:95: warning: Skipping tests; the iPhoneSimulator platform does not currently support application-hosted tests (TEST_HOST set).

Qui semble comme un mensonge, puisque l'Hôte de Test est fixé pour mon test de l'unité bundle cible, quand je lance la Commande-U à partir de l'interface graphique. J'ai vu des posts précédents au sujet de la séparation entre la logique des tests et des examens, mais il semble comme Xcode 4 ne fait pas cette distinction. Aucune idée de comment je peux faire tourner mes tests en ligne de commande?

InformationsquelleAutor Steven Wisener | 2011-03-23
  1. 48

    Remarque Importante

    Avec Xcode 5.1 (peut-être plus tôt Xcode ainsi) test est valable action de construire.

    Nous avons été en mesure de remplacer la totalité du hack ci-dessous avec un appel à xcodebuild à l'aide de l'action de génération de test approprié et des -destination options. man xcodebuild pour plus d'info.

    Les informations ci-dessous à gauche ici pour la postérité

    J'ai essayé de piratage d'Apple scripts pour exécuter des tests unitaires comme mentionné dans

    L'exécution de Xcode 4 tests unitaires à partir de la ligne de commande

    et

    Xcode4: Application en cours d'Exécution de Tests à Partir de la Ligne de Commande dans iOS

    et de nombreuses écritures semblables à travers le web.

    Cependant, j'ai rencontré un problème avec ces solutions. Certains de nos tests unitaires exercé l'iOS Trousseau et ces appels, lors de l'exécution dans l'environnement qui vient de piratage d'Apple scripts, a échoué avec une erreur (errSecNotAvailable[-25291] pour le morbide curieux). En conséquence, les tests ont toujours échoué... une caractéristique indésirable dans un test.

    J'ai essayé un certain nombre de solutions basées sur les informations que j'ai trouvé ailleurs sur le web. Certaines de ces solutions impliqués essayer de lancer le simulateur iOS du démon des services de sécurité, par exemple. Après avoir lutté avec celles-là, Mon meilleur pari semble être à exécuter dans le simulateur iOS tirer pleinement parti des avantages du simulateur de l'environnement.

    Ce que j'ai fait, puis de mettre la main sur le Simulateur iOS de lancement de l'outil de ios-sim. Cet outil de ligne de commande utilise privé Apple cadres de lancer une application iOS à partir de la ligne de commande. De moi, cependant, est le fait qu'il me permet de passer des Variables d'Environnement et les Arguments de Ligne de Commande de l'application qu'il lance.

    Si les variables d'Environnement, j'ai pu obtenir mon Test Unitaire faisceau injecté dans mon Application. À travers les arguments de ligne de commande, je peux passer l' "-SenTest Tous" nécessaire pour obtenir l'application pour exécuter les tests unitaires et d'arrêter de fumer.

    J'ai créé un programme (que j'ai appelée "CommandLineUnitTests) pour mes tests unitaires bundle et coché la case "Exécuter" dans la construction de la section comme décrit dans les posts ci-dessus.

    Plutôt que de piratage d'Apple scripts, si, j'ai remplacé le script avec celui qui lance l'application en utilisant ios-sim et configure l'environnement à injecter mes tests unitaires module dans l'application séparément.

    Mon script est écrit en Ruby qui est plus familier pour moi que des scripts BASH. Voici le script:

    if ENV['SL_RUN_UNIT_TESTS'] then
    launcher_path = File.join(ENV['SRCROOT'], "Scripts", "ios-sim")
    test_bundle_path= File.join(ENV['BUILT_PRODUCTS_DIR'], "#{ENV['PRODUCT_NAME']}.#{ENV['WRAPPER_EXTENSION']}")

    environment = {
        'DYLD_INSERT_LIBRARIES' => "/../../Library/PrivateFrameworks/IDEBundleInjection.framework/IDEBundleInjection",
        'XCInjectBundle' => test_bundle_path,
        'XCInjectBundleInto' => ENV["TEST_HOST"]
    }

    environment_args = environment.collect { |key, value| "--setenv #{key}=\"#{value}\""}.join(" ")

    app_test_host = File.dirname(ENV["TEST_HOST"])
    system("#{launcher_path} launch \"#{app_test_host}\" #{environment_args} --args -SenTest All #{test_bundle_path}")
else
    puts "SL_RUN_UNIT_TESTS not set - Did not run unit tests!"
end

    L'exécution de cette ligne de commande ressemble à ceci:

    xcodebuild -sdk iphonesimulator -workspace iPhoneApp.xcworkspace/ -scheme "CommandLineUnitTests" clean build SL_RUN_UNIT_TESTS=YES

    Après la recherche de la SL_RUN_UNIT_TESTS variable d'environnement, le script trouve le "lanceur" (iOS-sim exécutable) dans le cadre du projet de l'arbre source. Il construit alors le chemin d'accès de mes Tests Unitaires Bundle basé sur les paramètres de construction que Xcode passe dans les variables d'environnement.

    Ensuite, j'ai créer l'ensemble de l'Environnement d'exécution Variables pour mon application en cours d'exécution que d'injecter de l'unité de test bundle. J'ai mis en place ces variables dans le environment de hachage dans le milieu du script puis utiliser ruby grunge à se joindre à eux dans une série d'arguments de ligne de commande pour le ios-sim application.

    Près de la bas je prends la TEST_HOST de l'environnement dans l'application que je veux le lancer et le system commande s'exécute en fait ios-sim en passant de l'application, les arguments de la commande pour configurer l'environnement, et les arguments -SenTest All et le test bundle chemin d'accès à l'application en cours d'exécution.

    L'avantage de ce régime est qu'il exécute les tests unitaires dans le simulateur de l'environnement autant que je crois que Xcode lui-même n'. L'inconvénient de ce procédé est qu'il s'appuie sur un outil externe pour lancer l'application. Que outil externe utilise privé Apple cadres, de sorte qu'il peut être fragile, avec postérieure de l'OS versions, mais il fonctionne pour le moment.

    P. S. j'ai utilisé le "je" beaucoup de choses dans ce post, le récit raisons, mais une grande partie du mérite en revient à mon partenaire dans le crime, Pawel, qui a travaillé par le biais de ces problèmes avec moi.

    • D'ailleurs le DYLD_INSERT_LIBRARIES est le même chemin relatif dans mon script que c'est dans l'environnement de l'application lorsque vous lancez votre application de Test de l'action à partir de l'IDE. Je crois que ce chemin est relatif à une autre variable d'environnement "DYLD_ROOT". N'avais juste pas envie qu'il semble comme il y avait une grande magie là.
    • Scott, oui, j'ai eu des problèmes similaires avec le trousseau de clés, mais je n'ai pas besoin d'aller à ces profondeurs pour le fixer. Avez-vous vu ce post: stackoverflow.com/questions/9996578/...
    • Enfin quelqu'un qui a trouvé la bonne solution, sans le piratage des scripts - un peu double emploi avec XCode est mise en œuvre.
    • Eh bien, j'ai enfin trouvé le besoin d'aller à ces longueurs (je vous remercie donc pour cette recherche). Apparemment, ce que l'utilisateur que vous êtes en cours d'exécution comme le fait une différence w/r/t pour le trousseau (évidemment); nous avons besoin de changer notre Jenkins de l'installation, de sorte que ce programme d'installation que vous avez offert ici est probablement ce que je dois adopter. Depuis mon article de blog sur le sujet est assez populaire, je vais devoir le mettre à jour et donner à votre équipe un certain crédit si je peux l'obtenir pour fonctionner correctement.
    • réponse a travaillé pour moi et c'est beaucoup plus simple. Cela peut dépendre de la version de Xcode.
    • Cette réponse devrait être acceptée, travaille dans XCode 4.5 et avec Jenkins trop! Merci pour le partage. bigkm la réponse sera exécuté uniquement de la logique des tests unitaires et ne peut pas être appliqué si vous construisez un espace de travail et de régimes à la place de cibles.
    • C'est une honte je ne peux pas partager toute ma jenkins solution de (la propriété de l'entreprise), de toute façon - WaxSim projet sur github (voir le dernier clone) offre un meilleur contrôle de ios-sim sur le simulateur de cadre - vous pouvez passer des paramètres plus facilement. Je peux aussi recommander de voir comment gcov utilitaire de ligne de commande fonctionne. Il est très facile de générer assez de couverture de code de rapports. Vous pouvez également utiliser sed ignorer non testable code délimité par COV_NF_START/_END/_LINE si vous utilisez CoverStory comme moi (l'astuce consiste à remplacer ##### par quelque chose d'autre).
    • Juste une mise à jour - cela fonctionne dans Xcode 4.5 et je vais mettre à jour le blog référencé ci-dessus pour donner un peu de crédit à cette solution, car beaucoup de gens viennent sur mon blog à la recherche de solutions à cette...
    • J'ai toujours l'erreur suivante lors de l'exécution de test à partir de la ligne de commande: [DEBUG] Session could not be started: Error Domain=DTiPhoneSimulatorErrorDomain Code=1 "Unknown error." UserInfo=0x7ffc23ce0dd0 {NSLocalizedDescription=Unknown error., DTiPhoneSimulatorUnderlyingErrorCodeKey=-1}. A toute personne rencontre le même problème?
    • Miroslav, ouais j'ai eu le même problème, mais il a aidé à arrêter le Simulateur iOS qui semble avoir été démarré à partir de Xcode précédemment.
    • Scott, le seul problème que j'ai vu, c'est qu'il semble que le code d'erreur de l'exécution du script n'est pas correct. Si les tests échouent, il dit encore "construire a réussi". J'ai trouvé une solution par l'ajout de sortie($?.exitstatus) à la ligne en-dessous du système de(...)
    • J'ai peur que l'erreur n'est pas déjà commencé à le Simulateur iOS. J'ai redémarré l'ordinateur et d'exécuter la ligne de commande, sans même le lancement de Xcode ou Simulateur iOS, mais l'erreur est toujours là. Je vais essayer de configuration des variables d'environnement et d'appeler la ios-sim directement à partir de la ligne de commande.
    • Où dois-je m'attendre à voir test de la sortie? Tout ce qui construit une grande mais il n'y a pas de sortie de mes tests. Je suis en train de faire un STFail juste pour s'assurer que quelque chose tombe en panne... rien ne semble se produire au cours de la 'lancer'
    • Comment avez-vous exactement utiliser le script Ruby? Il a remplacer /Applications/Xcode.app/Contents/Developer/Platforms/iPhoneSimulator.platform/Developer/Tools/RunPlatformUnitTests? Il doit être appelé par elle? Je suis un peu perdu sur l'endroit où elle vient.
    • tombé sur la même question et cette réponse semblait faire l'affaire stackoverflow.com/a/13006893/83592
    • I replaced the script with one that launches the application using ios-sim Ack, ont besoin de plus de détails sur cette partie. Comment est-ce fait?

    InformationsquelleAutor Scott Thompson
  2. 9

    J'ai été inspiré par Jonas post et a trouvé un moyen de le faire:

    http://longweekendmobile.com/2011/04/17/xcode4-running-application-tests-from-the-command-line-in-ios/

    Fondamentalement, vous avez besoin d'Xcode 4 et vous avez à pirater un script pour le faire fonctionner, mais il n'.

    Le point clé est de convaincre Xcode 4 pour exécuter votre iOS test bundle comme si c'était un MacOS X bundle - il un problème avec la plate-forme, Xcode ne veut pas exécuter l'application des tests de la boîte sur la ligne de commande. Drôle, parce qu'elle semble fonctionner.

    Il y a aussi un exemple de projet sur le site.

    • J'ai juste essayé de @makdad solution et il a travaillé pour moi. Il y a sûrement un moyen plus facile d'exécuter la ligne de commande de tests maintenant sans le piratage /Développeur de scripts?
    • Si vous pouvez le trouver, je vais le lien vers votre blog! 🙂
    • Des nouvelles sur ce sujet? Je suis toujours intéressé à l'exécution de l'application des tests à partir de la ligne de commande sans pirater /Développeur. Mon premier essai avec Xcode 4.2 semble rencontrer le même problème.
    • non pas encore 🙂 les gens sur mon blog, les commentaires ont été disant que comme de Xcode 4.2, le hack est encore nécessaire.
    • Je n'ai pas hack le script dans PLATFORM_DEVELOPER_TOOLS_DIR. Au lieu de cela j'ai copié sur mon repo, modifié et créé un script. Mais oui, c'est ennuyeux que cela est nécessaire.
    • J'ai commencé à faire de même. Je pense que c'est la meilleure pratique, ici et maintenant...
    • réponse a travaillé pour moi et c'est beaucoup plus simple. Cela peut dépendre de la version de Xcode.

    InformationsquelleAutor makdad
  3. 8

    ce que vous cherchez est ce sans-papiers argument (vous avez besoin du sdk et cible trop) pour exécuter votre OCUnit de Tests à partir de la borne

    xcodebuild  -target MyTarget -sdk iphonesimulator   TEST_AFTER_BUILD=YES
    • Cela fonctionne pour moi avec Xcode 4.4.1 et 4.5. Il ne fonctionne pas sur 4,3, mais qui pourrait être due à un problème distinct.
    • Cela ne fonctionne que la logique des tests unitaires et peut être problématique si vous construisez un espace de travail au lieu de cibles. Dans mon projet, j'ai de l'espace de travail de prendre soin des dépendances de sorte qu'il n'est pas vraiment possible pour moi de passer à la construction d'une cible.
    • Note que ce n'est pas un sans-papiers argument, mais plutôt une variable d'environnement en cours de réglage.
    • Je reçois warning: Skipping tests; the iPhoneSimulator platform does not currently support application-hosted tests (TEST_HOST set). avec XCode 4.6.1 quand je lance xcodebuild -target TestTarget -sdk iphonesimulator TEST_AFTER_BUILD=YES
    InformationsquelleAutor bigkm
  4. 5

    C'est une solution incomplète mais j'ai été en mesure d'exécuter la ligne de commande des versions de tests de logique dans leur propre régime et de construire cible: http://blog.carbonfive.com/2011/04/06/running-xcode-4-unit-tests-from-the-command-line/

    • Les instructions de la page a fonctionné pour moi, et je n'avais pas à changer quoi que ce soit dans /Developer. Merci!
    • Bob, quelle est la version de l'iOS êtes-vous? Ou plus précisément, de Xcode?
    • aussi, si vous avez été en cours d'exécution juste Logique tests, ce hack ne serait pas nécessaire - est probablement votre cas, non?
    • J'ai configuré exactement comme le site, mais Im pas en mesure d'exécuter les tests. Le LogicTest régime de construire avec succès, mais un test est en cours d'exécution.
    InformationsquelleAutor Jonah
  5. 3

    xctool résout ce problème: https://github.com/facebook/xctool

    nous l'utilisons sur notre serveur d'intégration continue sans problèmes

    • Je suis en train xctool mais encore obtenir le message d'erreur de ce poste est d'environ. La version de Xcode utilisez-vous?
    • leurs notes de version show 2013 a été sa première version, et les changements indiquent que xcode5 a été la première version prise en charge. C'est toujours activement développé et ressemble à une belle api. Ty skrusche pour l'astuce, je suis venu ici pour xcode 6 et c'est très utile. github.com/facebook/xctool/releases
    InformationsquelleAutor skrusche