transférer de l'audio sur un réseau local en utilisant GStreamer

J'ai besoin de bouger en temps réel de l'audio entre deux machines Linux, qui sont à la fois l'exécution de logiciels personnalisés (de mine) qui s'appuie sur Gstreamer. (Le logiciel a déjà d'autres de la communication entre les machines, plus d'un distinct protocole basé sur TCP - j'en parle dans ce cas d'avoir fiables out-of-band de données permet de faire une différence pour la solution).

L'entrée audio sera un microphone /entrée de ligne sur l'envoi de la machine, et de normal de la sortie audio de l'évier sur le lieu de destination; alsasrc et alsasink sont le plus probable, bien que pour le test j'ai été en utilisant le audiotestsrc au lieu d'un vrai micro.

GStreamer offre une multitude de façons de déplacer des données ronde sur les réseaux - RTP, RTSP, le PIB payloading, UDP et TCP serveurs, les clients et les prises, et ainsi de suite. Il y a aussi de nombreux exemples sur le web de streaming audio et vidéo, mais aucun d'entre eux semblent fonctionner pour moi, dans la pratique; soit la destination, le pipeline ne parvient pas à négocier des chapeaux, ou j'entends un seul paquet, puis le pipeline stands, ou la destination pipeline écope immédiatement avec pas de données disponibles.

Dans tous les cas, je suis en essais sur la ligne de commande, juste le tps de lancement. Pas de compression des données audio est requis - audio raw, ou trivial WAV, format uLaw ou aloi encodage est très bien; ce qui est plus important est de basse-ish de latence.

Voici un exemple d'un pipeline qui ne produit pas d'erreurs, mais aussi ne produit aucune sortie; la destination de pipeline entre l'état de LECTURE, mais aucun son n'est entendu. Source pipeline: gst-launch-0.10 audiotestsrc ! audioconvert ! rtpL16pay ! udpsink port=5005 host=localhost Destination pipeline: gst-launch-0.10 udpsrc port=5005 ! rtpL16depay ! alsasink

OriginalL'auteur James Turner | 2010-04-26

  1. 5

    Pour déboguer les problèmes de ce genre, je voudrais essayer:

    1. Exécuter gst-launch audiotestsrc ! alsasink à checkthat sons œuvres
    2. Utiliser un fakesink ou filesink pour voir si nous recevons des tampons
    3. Essayer de trouver le pipeline problème avec GST_DEBUG, par exemple vérifier les bouchons avec GST_DEBUG=GST_CAPS:4 ou de vérifier l'utilisation de *:2 pour obtenir toutes les erreurs/avertissements
    4. Utilisation de wireshark pour voir si les paquets sont envoyés

    Ces pipelines de travail pour moi:

    avec RTP:

    gst-launch-0.10 -v udpsrc port=5000 ! "application/x-rtp,media=(string)audio, clock-rate=(int)44100, width=16, height=16, encoding-name=(string)L16, encoding-params=(string)1, channels=(int)1, channel-positions=(int)1, payload=(int)96" ! rtpL16depay ! audioconvert ! alsasink sync=false

gst-launch-0.10 audiotestsrc ! audioconvert ! audio/x-raw-int,channels=1,depth=16,width=16,rate=44100 ! rtpL16pay  ! udpsink host=localhost port=5000

    avec TCP::

    gst-launch-0.10 tcpserversrc host=localhost port=3000 ! audio/x-raw-int, endianness="(int)1234", signed="(boolean)true", width="(int)16", depth="(int)16", rate="(int)44100", channels="(int)1" ! alsasink

gst-launch-0.10 audiotestsrc ! tcpclientsink host=localhost port=3000
    Juste une remarque que sur Windows il semble vouloir un audioresample pour faire de votre récepteur exemple de travail: "... ! rtpL16depay ! audioconvert !audioresample ! directsoundsink"

    OriginalL'auteur tilljoel

  2. 1

    Pouvez-vous poster une partie de la tps-lancement des pipelines vous avez essayé? Qui pourrait nous aider à comprendre pourquoi vous rencontrez des problèmes. En général, RTP/RTSP devrait fonctionner assez facilement.

    Edit:
    Quelques éléments que je peux penser à est de
    1. changement de host=localhost host= où est la véritable adresse ip de l'autre machine linux
    2. ajouter caps="application/x-rtp, media=(string)audio pour la udpsrc élément dans le récepteur.

    OriginalL'auteur Sid Heroor

  3. 0

    Ma solution est très similaire à tilljoel mais je suis en utilisant le Microphone (qui est ce que vous avez besoin) comme source d'Où quelques réglages dans le pipeline gstreamer.

    Décodage Audio à partir du Microphone à l'aide de TCP:

    gst-launch-0.10 tcpserversrc host=localhost port=3000 !  audio/x-raw-int, endianness="(int)1234", signed="(boolean)true", width="(int)16", depth="(int)16", rate="(int)22000", channels="(int)1" ! alsasink

    L'encodage de l'Audio à partir du Microphone à l'aide de TCP:

    gst-launch-0.10 pulsesrc ! audio/x-raw-int,rate=22000,channels=1,width=16 ! tcpclientsink host=localhost port=3000

    Décodage Audio à partir du Microphone à l'aide de RTP:

    gst-launch-0.10 -v udpsrc port=5000 ! "application/x-rtp,media=(string)audio, clock-rate=(int)22000, width=16, height=16, encoding-name=(string)L16, encoding-params=(string)1, channels=(int)1, channel-positions=(int)1, payload=(int)96" ! rtpL16depay ! audioconvert ! alsasink sync=false

    L'encodage de l'Audio à partir du Microphone à l'aide de RTP:

    gst-launch-0.10 pulsesrc ! audioconvert ! audio/x-raw-int,channels=1,depth=16,width=16,rate=22000 ! rtpL16pay  ! udpsink host=localhost port=5000
    peut-on recevoir de l'audio dans un autre port comme Gstremer de recevoir de la vidéo sur 5000 et audio port 5001
    Vous devez utiliser demux évidemment. Jetez un oeil à stackoverflow.com/questions/13904975/...
    pouvez-vous m'envoyer le backend.m fichier
    qui m fichier? MATLAB? Pourquoi n'utilisez-vous pas demux. comme je l'ai dit plus tôt. Voir Audio+Vidéo de la section de trac.gateworks.com/wiki/Yocto/gstreamer/streaming . Vous devrez simplement utiliser mon au-dessus de pipelines et de les adapter avec demux. de l'élément. Il y a des tonnes d'exemples en ligne.

    OriginalL'auteur enthusiasticgeek