Comment combiner des clips vidéo avec une orientation différente à l'aide de AVFoundation

Je suis en train d'essayer de combiner plusieurs clips vidéo en un seul à l'aide de AVFoundation.
Je peux créer une seule vidéo à l'aide de AVMutableComposition à l'aide du code ci-dessous

AVMutableComposition *composition = [AVMutableComposition composition];
AVMutableCompositionTrack *compositionVideoTrack = [composition addMutableTrackWithMediaType:AVMediaTypeVideo preferredTrackID:kCMPersistentTrackID_Invalid];
AVMutableCompositionTrack *compositionAudioTrack = [composition addMutableTrackWithMediaType:AVMediaTypeAudio preferredTrackID:kCMPersistentTrackID_Invalid];
CMTime startTime = kCMTimeZero;
/*videoClipPaths is a array of paths of the video clips recorded*/
//for loop to combine clips into a single video
for (NSInteger i=0; i < [videoClipPaths count]; i++) {
NSString *path = (NSString*)[videoClipPaths objectAtIndex:i];
NSURL *url = [[NSURL alloc] initFileURLWithPath:path];
AVURLAsset *asset = [AVURLAsset URLAssetWithURL:url options:nil];
[url release];
AVAssetTrack *videoTrack = [[asset tracksWithMediaType:AVMediaTypeVideo] objectAtIndex:0];
AVAssetTrack *audioTrack = [[asset tracksWithMediaType:AVMediaTypeAudio] objectAtIndex:0];
//set the orientation
if(i == 0)
{
[compositionVideoTrack setPreferredTransform:videoTrack.preferredTransform];
}
ok = [compositionVideoTrack insertTimeRange:CMTimeRangeMake(kCMTimeZero, [asset duration]) ofTrack:videoTrack atTime:startTime error:nil];
ok = [compositionAudioTrack insertTimeRange:CMTimeRangeMake(kCMTimeZero, [asset duration]) ofTrack:audioTrack atTime:startTime error:nil];
startTime = CMTimeAdd(startTime, [asset duration]);
}
//export the combined video
NSString *combinedPath = /* path of the combined video*/;
NSURL *url = [[NSURL alloc] initFileURLWithPath: combinedPath];
AVAssetExportSession *exporter = [[[AVAssetExportSession alloc] initWithAsset:composition presetName:AVAssetExportPreset640x480] autorelease];
exporter.outputURL = url;
[url release];
exporter.outputFileType = [[exporter supportedFileTypes] objectAtIndex:0];
[exporter exportAsynchronouslyWithCompletionHandler:^(void){[self combineVideoFinished:exporter.outputURL status:exporter.status error:exporter.error];}];

Le code ci-dessus fonctionne très bien si tous les clips vidéo ont été enregistrées dans la même orientation (portrait ou paysage). Cependant, si j'ai un mélange des orientations dans les clips, la vidéo finale sera en partie tourné de 90 degrés vers la droite (ou la gauche).

Je me demandais est-il un moyen de transformer tous les clips de la même orientation (par exemple, l'orientation de la première vidéo) lors de la composition d'eux. De ce que j'ai lu à partir de XCode document AVMutableVideoCompositionLayerInstruction semble peut être utilisé pour transformer AVAsset, mais je ne suis pas sûr de savoir comment créer et appliquer plusieurs couche d'instruction de clips correspondants et de les utiliser ensuite dans la composition (AVMutableComposition*)

Toute aide serait appréciée!

InformationsquelleAutor Song | 2011-07-04

C'est ce que je fais. J'utilise ensuite un AVAssetExportSession pour créer le fichier réel. mais je vous préviens, le CGAffineTransforms sont parfois effectués à la fin, vous verrez une ou deux de l'original avant que la vidéo se transforme. Je n'ai aucune idée de pourquoi cela se produit, une combinaison différente de vidéos donnera le résultat escompté, mais parfois de son.

AVMutableComposition *composition = [AVMutableComposition composition];    
AVMutableCompositionTrack *compositionVideoTrack = [composition addMutableTrackWithMediaType:AVMediaTypeVideo preferredTrackID:kCMPersistentTrackID_Invalid];
AVMutableVideoComposition *videoComposition = [AVMutableVideoComposition videoComposition]; 
videoComposition.frameDuration = CMTimeMake(1,30); 
videoComposition.renderScale = 1.0;
AVMutableVideoCompositionInstruction *instruction = [AVMutableVideoCompositionInstruction videoCompositionInstruction];
AVMutableVideoCompositionLayerInstruction *layerInstruction = [AVMutableVideoCompositionLayerInstruction videoCompositionLayerInstructionWithAssetTrack:compositionVideoTrack];
//Get only paths the user selected NSMutableArray *array = [NSMutableArray array]; for(NSString* string in videoPathArray){
if(![string isEqualToString:@""]){
[array addObject:string];
} 
self.videoPathArray = array;
float time = 0;
for (int i = 0; i<self.videoPathArray.count; i++) {
AVURLAsset *sourceAsset = [AVURLAsset URLAssetWithURL:[NSURL fileURLWithPath:[videoPathArray objectAtIndex:i]] options:[NSDictionary dictionaryWithObject:[NSNumber numberWithBool:YES] forKey:AVURLAssetPreferPreciseDurationAndTimingKey]];
NSError *error = nil;
BOOL ok = NO;
AVAssetTrack *sourceVideoTrack = [[sourceAsset tracksWithMediaType:AVMediaTypeVideo] objectAtIndex:0];
CGSize temp = CGSizeApplyAffineTransform(sourceVideoTrack.naturalSize, sourceVideoTrack.preferredTransform);
CGSize size = CGSizeMake(fabsf(temp.width), fabsf(temp.height));
CGAffineTransform transform = sourceVideoTrack.preferredTransform;
videoComposition.renderSize = sourceVideoTrack.naturalSize;
if (size.width > size.height) {
[layerInstruction setTransform:transform atTime:CMTimeMakeWithSeconds(time, 30)];
} else {
float s = size.width/size.height;
CGAffineTransform new = CGAffineTransformConcat(transform, CGAffineTransformMakeScale(s,s));
float x = (size.height - size.width*s)/2;
CGAffineTransform newer = CGAffineTransformConcat(new, CGAffineTransformMakeTranslation(x, 0));
[layerInstruction setTransform:newer atTime:CMTimeMakeWithSeconds(time, 30)];
}
ok = [compositionVideoTrack insertTimeRange:sourceVideoTrack.timeRange ofTrack:sourceVideoTrack atTime:[composition duration] error:&error];
if (!ok) {
//Deal with the error.
NSLog(@"something went wrong");
}
NSLog(@"\n source asset duration is %f \n source vid track timerange is %f %f \n composition duration is %f \n composition vid track time range is %f %f",CMTimeGetSeconds([sourceAsset duration]), CMTimeGetSeconds(sourceVideoTrack.timeRange.start),CMTimeGetSeconds(sourceVideoTrack.timeRange.duration),CMTimeGetSeconds([composition duration]), CMTimeGetSeconds(compositionVideoTrack.timeRange.start),CMTimeGetSeconds(compositionVideoTrack.timeRange.duration));
time += CMTimeGetSeconds(sourceVideoTrack.timeRange.duration);
}
instruction.layerInstructions = [NSArray arrayWithObject:layerInstruction];
instruction.timeRange = compositionVideoTrack.timeRange; 
videoComposition.instructions = [NSArray arrayWithObject:instruction];

il semble de travail, mais je n'ai pas rencontre les transformations appliquées plus tard problème
Bizarre. Je ne suis pas en train de fusionner deux fichiers, je suis juste essayer d'obtenir un AVAssetExportSession pour maintenir la vidéo de l'orientation. Vous êtes censé juste être en mesure d'appeler [compositionVideoTrack setPreferredTransform:transform] mais ça ne fonctionne pas. À l'aide de votre méthode ne fonctionne pas pour moi non plus. Mais à l'aide de deux n'a fonctionné. Sonne comme un cadre de bug. Je suis aussi à l'aide de l'exportation paramètre de session AVAssetExportPresetPassthrough.
Je suis aussi d'avoir un très étrange problèmes avec le calendrier ainsi. Le plus souvent, le dernier 1 seconde de la vidéo est coupée.
de même pour moi en termes de définition des deux transformations (pas le problème de synchronisation).
quand j'ai fusionner un portrait vidéo et un paysage de la vidéo je ne vois aucune transformation dans la fusion de vidéos elles sont regroupées en fonction de leur orientation d'origine. pourriez-vous nous dire comment faire pour transformer le portrait vidéo de Paysage?
il mélange deux vidéo ou de combiner les deux vidéo ?
pouvez-vous expliquer, comment la composition et la composition de vidéo aller ensemble? Ne vous en quelque sorte mis la vidéo de la composition sur la composition elle-même?
Merci pour la Réponse +1
Les vidéos de perdre leur audio avec cette solution, devrions-nous ajouter "AVMutableCompositionTrack"? Pourriez-vous montrer qu'il peut être fait s'il vous plaît?
toute swift version ???

InformationsquelleAutor bogardon

Ici est @bogardon's réponse rapide 4+

 import ARKit
class ARKitSampleViewController: UIViewController {
var label: UILabel?
var planeFound = false
func plane(from anchor: ARPlaneAnchor?) -> SCNNode? {
let plane = SCNPlane(width: CGFloat(anchor?.extent.x ?? 0.0), height: CGFloat(anchor?.extent.z ?? 0.0))
plane.firstMaterial?.diffuse.contents = UIColor.clear
let planeNode = SCNNode(geometry: plane)
planeNode.position = SCNVector3Make(anchor?.center.x ?? 0.0, 0, anchor?.center.z ?? 0.0)
//SCNPlanes are vertically oriented in their local coordinate space.
//Rotate it to match the horizontal orientation of the ARPlaneAnchor.
planeNode.transform = SCNMatrix4MakeRotation(-.pi * 0.5, 1, 0, 0)
return planeNode
}
//MARK: -  ARSCNViewDelegate
func renderer(_ renderer: SCNSceneRenderer, didAdd node: SCNNode, for anchor: ARAnchor) {
if planeFound == false {
if (anchor is ARPlaneAnchor) {
DispatchQueue.main.async(execute: {
self.planeFound = true
self.label?.text = "DANCEFLOOR FOUND. LET'S BOOGIE"
let overlay = UIView(frame: self.view.frame)
overlay.backgroundColor = UIColor.black
overlay.alpha = 0
if let label = self.label {
self.view.insertSubview(overlay, belowSubview: label)
}
UIView.animate(withDuration: 1.5, delay: 2, options: .curveEaseIn, animations: {
self.label?.alpha = 0
overlay.alpha = 0.5
}) { finished in
let planeAnchor = anchor as? ARPlaneAnchor
//Show the disco ball here
}
})
}
}
}
}

InformationsquelleAutor Outsider

Vous devez vous connecter pour publier un commentaire.