Comment obtenir la composante Y de CMSampleBuffer résulte de la AVCaptureSession?

Lors de la configuration de la AVCaptureVideoDataOutput qui renvoie les premières images de la caméra, vous pouvez définir le format des images à l'aide du code suivant:

[videoOutput setVideoSettings:[NSDictionary dictionaryWithObject:[NSNumber numberWithInt:kCVPixelFormatType_32BGRA] forKey:(id)kCVPixelBufferPixelFormatTypeKey]];

Dans ce cas, un BGRA pixels format est spécifié (j'ai utilisé ça pour faire correspondre un format de couleur pour une texture OpenGL ES). Chaque pixel dans ce format a un octet pour le bleu, le vert, le rouge, et alpha, dans cet ordre. Va avec cela le rend facile de sortir des composants de la couleur, mais vous n'sacrifier un peu de la performance par un besoin de faire la conversion à partir de la caméra natif espace colorimétrique YUV.

Les autres espaces de couleurs sont kCVPixelFormatType_420YpCbCr8BiPlanarVideoRange et kCVPixelFormatType_420YpCbCr8BiPlanarFullRange sur les périphériques les plus récents et kCVPixelFormatType_422YpCbCr8 sur l'iPhone 3G. Le VideoRange ou FullRange suffixe indique simplement si les octets sont retournés entre 16 et 235 pour Y et 16 - 240 pour les UV ou complète de 0 à 255 pour chaque composant.

Je crois que l'espace colorimétrique par défaut utilisé par un AVCaptureVideoDataOutput exemple est le YUV 4:2:0 plane palette (à l'exception de l'iPhone 3G, où il est en YUV 4:2:2 interleaved). Cela signifie qu'il existe deux plans de l'image, les données contenues dans l'image vidéo, avec l'axe de l'avion vient en premier. Pour chaque pixel de votre image qui en résulte, il y a un octet pour la valeur de Y à ce pixel.

Vous donneriez à cette matière première en Y de données par la mise en œuvre de quelque chose comme ceci dans votre délégué de rappel:

- (void)captureOutput:(AVCaptureOutput *)captureOutput didOutputSampleBuffer:(CMSampleBufferRef)sampleBuffer fromConnection:(AVCaptureConnection *)connection
{
    CVImageBufferRef pixelBuffer = CMSampleBufferGetImageBuffer(sampleBuffer);
    CVPixelBufferLockBaseAddress(pixelBuffer, 0);

    unsigned char *rawPixelBase = (unsigned char *)CVPixelBufferGetBaseAddress(pixelBuffer);

    //Do something with the raw pixels here

    CVPixelBufferUnlockBaseAddress(pixelBuffer, 0);
}

Vous pouvez ensuite déterminer l'emplacement dans le bloc de données pour chaque coordonnée X, Y sur l'image et tirez l'octet de sortie qui correspond à la composante Y à coordonner.

Apple FindMyiCone échantillon de La WWDC 2010 (accessible avec les vidéos) montre comment traiter les matières premières BGRA des données à partir de chaque image. J'ai également créé un exemple d'application, que vous pouvez télécharger le code pour ici, qui effectue basée sur la couleur de suivi d'objet à l'aide de la vidéo en direct de la la caméra de l'iPhone. Les deux montrent comment traiter les matières premières des données de pixels, mais aucune de ces travaux dans l'espace colorimétrique YUV.

Si vous avez seulement besoin du canal de luminance, je vous déconseillons l'utilisation de BGRA format, car il est livré avec une conversion de frais généraux. Apple suggèrent d'utiliser BGRA si vous êtes en train de faire le rendu de choses, mais vous n'en avez pas besoin pour l'extraction de l'information de luminance. Comme Brad déjà mentionnés, le plus efficace est le format de la caméra natif format YUV.

Cependant, l'extraction de la droite octets dans le tampon d'échantillon est un peu délicat, notamment au sujet de l'iPhone 3G avec entrelacés YUV 422 format. Donc voici mon code, qui fonctionne très bien avec l'iPhone 3G, 3GS, iPod Touch 4 et iPhone 4S.

#pragma mark -
#pragma mark AVCaptureVideoDataOutputSampleBufferDelegate Methods
#if !(TARGET_IPHONE_SIMULATOR)
- (void)captureOutput:(AVCaptureOutput *)captureOutput didOutputSampleBuffer:(CMSampleBufferRef)sampleBuffer fromConnection:(AVCaptureConnection *)connection;
{
//get image buffer reference
CVImageBufferRef imageBuffer = CMSampleBufferGetImageBuffer(sampleBuffer);
//extract needed informations from image buffer
CVPixelBufferLockBaseAddress(imageBuffer, 0);
size_t bufferSize = CVPixelBufferGetDataSize(imageBuffer);
void *baseAddress = CVPixelBufferGetBaseAddress(imageBuffer);
CGSize resolution = CGSizeMake(CVPixelBufferGetWidth(imageBuffer), CVPixelBufferGetHeight(imageBuffer));
//variables for grayscaleBuffer 
void *grayscaleBuffer = 0;
size_t grayscaleBufferSize = 0;
//the pixelFormat differs between iPhone 3G and later models
OSType pixelFormat = CVPixelBufferGetPixelFormatType(imageBuffer);
if (pixelFormat == '2vuy') { //iPhone 3G
//kCVPixelFormatType_422YpCbCr8     = '2vuy',    
/* Component Y'CbCr 8-bit 4:2:2, ordered Cb Y'0 Cr Y'1 */
//copy every second byte (luminance bytes form Y-channel) to new buffer
grayscaleBufferSize = bufferSize/2;
grayscaleBuffer = malloc(grayscaleBufferSize);
if (grayscaleBuffer == NULL) {
NSLog(@"ERROR in %@:%@:%d: couldn't allocate memory for grayscaleBuffer!", NSStringFromClass([self class]), NSStringFromSelector(_cmd), __LINE__);
return nil; }
memset(grayscaleBuffer, 0, grayscaleBufferSize);
void *sourceMemPos = baseAddress + 1;
void *destinationMemPos = grayscaleBuffer;
void *destinationEnd = grayscaleBuffer + grayscaleBufferSize;
while (destinationMemPos <= destinationEnd) {
memcpy(destinationMemPos, sourceMemPos, 1);
destinationMemPos += 1;
sourceMemPos += 2;
}       
}
if (pixelFormat == '420v' || pixelFormat == '420f') {
//kCVPixelFormatType_420YpCbCr8BiPlanarVideoRange = '420v', 
//kCVPixelFormatType_420YpCbCr8BiPlanarFullRange  = '420f',
//Bi-Planar Component Y'CbCr 8-bit 4:2:0, video-range (luma=[16,235] chroma=[16,240]).  
//Bi-Planar Component Y'CbCr 8-bit 4:2:0, full-range (luma=[0,255] chroma=[1,255]).
//baseAddress points to a big-endian CVPlanarPixelBufferInfo_YCbCrBiPlanar struct
//i.e.: Y-channel in this format is in the first third of the buffer!
int bytesPerRow = CVPixelBufferGetBytesPerRowOfPlane(imageBuffer, 0);
baseAddress = CVPixelBufferGetBaseAddressOfPlane(imageBuffer,0);
grayscaleBufferSize = resolution.height * bytesPerRow ;
grayscaleBuffer = malloc(grayscaleBufferSize);
if (grayscaleBuffer == NULL) {
NSLog(@"ERROR in %@:%@:%d: couldn't allocate memory for grayscaleBuffer!", NSStringFromClass([self class]), NSStringFromSelector(_cmd), __LINE__);
return nil; }
memset(grayscaleBuffer, 0, grayscaleBufferSize);
memcpy (grayscaleBuffer, baseAddress, grayscaleBufferSize); 
}
//do whatever you want with the grayscale buffer
...
//clean-up
free(grayscaleBuffer);
}
#endif