Reconstruire en 3D de Coordonnées dans un Système de Coordonnées de la Caméra à partir de 2D - Pixels avec condition côté

Je suis en train de reconstruire en 3D de Coordonnées de la 2D Pixel de Coordonnées dans une Image de la Caméra à l'aide d'une condition côté (en MatLab). J'ai extrinsèques et intrinsèques des paramètres de la caméra.

Homogène à l'aide de la transformation que je peux transformer en 3D-des Coordonnées d'un premier Système de Coordonnées Monde à mon Appareil photo Corrdinate Système. Donc, ici, j'ai mes paramètres extrinsèques dans ma Matrice de Transformation R_world_to_Camera:

R_world_to_Camera = [ r_11, r_12, r_13, t1;
r_21, r_22, r_23, t2;
r_31, r_32, r_33, t3;
0, 0, 0, 1];

Pour les paramètres intrinsèques j'ai utilisé de Caltech "etalonnage de l'Appareil photo Toolbox pour MatLab", et a obtenu ces paramètres:

Calibration results (with uncertainties): 

 Focal Length:          fc = [ 1017.21523   1012.54901 ] ± [ NaN   NaN ] 
 Principal point:       cc = [ 319.50000   239.50000 ] ± [ NaN   NaN ] 
 Skew:             alpha_c = [ 0.00000 ] ± [ NaN  ]   => angle of pixel axes = 90.00000 ± NaN degrees 
 Distortion:            kc = [ 0.00000   0.00000   0.00000   0.00000  0.00000 ] ± [ NaN   NaN   NaN   NaN    NaN ] 
 Pixel error:          err = [ 0.11596   0.14469 ] 

 Note: The numerical errors are approximately three times the standard deviations (for reference).

Si je puis obtenir l'Appareil de Calibrage de la Matrice K (3x3)

K = [1.017215234570303e+03, 0, 3.195000000000000e+02; 
0, 1.012549014668498e+03,2.395000000000000e+02; 
0, 0, 1.0000];

et en utilisant ce que je peux calculer la 3D -> 2D - Projection de la Matrice P (3x4) avec:

P = K * [eye(3), zeros(3,1)];

Lors de la conversion d'un Point de Coordonnées [X, Y, Z]_World je le transforme d'abord à la Caméra Coordonnées et ensuite le projet à 2D:

% Transformation
P_world = [X; Y; Z; 1]; % homogenous coordinates in World coordinate System
P_camera = R_world_to_Camera * [X; Y; Z; 1];

% Projection
P_pixels = P * camera;
P_pixels = P_pixels / P_pixels(3); % normalize coordinates

Donc ma question maintenant est de savoir comment inverser ces étapes? Comme condition côté je veux mettre la coordonnée Z à être connu (zéro dans le monde des coordonnées). J'ai essayé la solution proposée ici sur Stackoverflow, mais de toute façon j'ai mal coordonnées. Une idée? Toute aide est la beaucoup apprécié!

OriginalL'auteur EliteTUM | 2012-07-04

7

Vous ne pouvez pas inverser l'étape en général: la profondeur et l'ampleur de l'information est perdue lorsque les points 3D sont projetées sur une image 2D. Toutefois, si, comme vous l'indiquez, tous vos points 3D sont sur le plan Z=0, alors au retour de leurs projections est trivial: calcul de l'inverse Ki = K^-1 de l'appareil photo de la matrice, et de l'appliquer à l'image des points en coordonnées homogènes.

P_camera = Ki * [u, v, 1]'

où [u, v] sont, à l'image des coordonnées, et l'apostrophe désigne la transposition.
Les points 3D vous voulez allonger sur les rayons de la caméra au centre de la P_camera. Exprimer à la fois dans les coordonnées du monde:

P_world = [R|t]_camera_to_world * [P_camera, 1]'

C_world = [R|t]_camera_to_world * [0, 0, 0, 1]'

où [R|t] est le 4x4 transformation des coordonnées.
Maintenant, l'ensemble des points sur chaque rayon est exprimé en

P = C_world + lambda * P_world;

où lambda est un scalaire (la coordonnée le long de la raie). Vous pouvez maintenant imposer la condition que P(3) = 0 pour trouver la valeur de lambda que des lieux de vos points sur le plan Z = 0.

Si un Z-buffer utilisé, chaque pixel affiché a 2 coordonnées de l'écran et 1 dans le monde de coordonnées (profondeur; dans le Z-buffer), ce qui est suffisant pour reconstruire les 2 autres coordonnées du monde.
Et comment est le Z-buffer rempli en premier lieu, s'il n'a pas de 3d coords? 🙂
Le Z-buffer est normalement rempli en cas de pixellisation les polygones 3d à l'écran.
Merci Franco! C'est plus ou moins l'approche que j'ai trouvé dans un Master-Thèse. La Thèse de Maîtrise, j'ai trouvé intègre directement la condition Z = 0. J'ai ajouté le "testcode" j'ai écrit ci-dessous, peut-être que cela aide 🙂

OriginalL'auteur Francesco Callari

grâce à peu de vin rouge et de la lecture approfondie, j'ai trouvé la réponse dans un (allemand) mémoire de Master 🙂
Mon "testcode" est comme suit:

% Clean-Up First 
clear all; 
close all; 
clc; 
% Caamera-Calibration-Matrix
K = [1.017215234570303e+03, 0, 3.195000000000000e+02, 0; 
0, 1.012549014668498e+03,2.395000000000000e+02, 0; 
0, 0, 1.0000, 0; 
0, 0, 0, 0]; 
% Transforma Matrix from 3D-World-Coordinate System to 3D-Camera-Coordinate System (Origin on CCD-Chip) 
% 
% The Camera is oriented "looking" into positive X-Direction of the World-Coordinate-System. On the picture,
% positive Y-Direction will be to the left, positive Z-Direction to the top. (right hand coordinate system!)
R_World_to_Cam = [-0.0113242625465167   -0.999822053685344   0.0151163536128891   141.173585444427; 
0.00842007509644635   -0.0152123858102325   -0.999848810645587   1611.96528372161; 
0.999900032304804   -0.0111955728474261   0.00859117128537919   847.090629282911; 
0   0   0   1]; 
% Projection- and Transforma Matrix P 
P = K * R_World_to_Cam; 
% arbitrary Points X_World in World-Coordinate-System [mm] (homogenous Coordinates) 
% forming a square of size 10m x 4m 
X_World_1 = [20000; 2000; 0; 1]; 
X_World_2 = [20000; -2000; 0; 1]; 
X_World_3 = [10000; 2000; 0; 1]; 
X_World_4 = [10000; -2000; 0; 1]; 
% Transform and Project from 3D-World -> 2D-Picture 
X_Pic_1 = P * X_World_1; 
X_Pic_2 = P * X_World_2; 
X_Pic_3 = P * X_World_3; 
X_Pic_4 = P * X_World_4; 
% normalize homogenous Coordinates (3rd Element has to be 1!) 
X_Pic_1 = X_Pic_1 / X_Pic_1(3); 
X_Pic_2 = X_Pic_2 / X_Pic_2(3); 
X_Pic_3 = X_Pic_3 / X_Pic_3(3); 
X_Pic_4 = X_Pic_4 / X_Pic_4(3); 
% Now for reverse procedure take arbitrary points in Camera-Picture... 
% (for simplicity, take points from above and "go" 30px to the right and 40px down) 
X_Pic_backtransform_1 = X_Pic_1(1:3) + [30; 40; 0]; 
X_Pic_backtransform_2 = X_Pic_2(1:3) + [30; 40; 0]; 
X_Pic_backtransform_3 = X_Pic_3(1:3) + [30; 40; 0]; 
X_Pic_backtransform_4 = X_Pic_4(1:3) + [30; 40; 0]; 
% ... and transform back following the formula from the Master Thesis (in German):
% Ilker Savas, "Entwicklung eines Systems zur visuellen Positionsbestimmung von Interaktionspartnern" 
M_Mat = P(1:3,1:3);                 % Matrix M is the "top-front" 3x3 part 
p_4 = P(1:3,4);                     % Vector p_4 is the "top-rear" 1x3 part 
C_tilde = - inv( M_Mat ) * p_4;     % calculate C_tilde 
% Invert Projection with Side-Condition ( Z = 0 ) and Transform back to 
% World-Coordinate-System 
X_Tilde_1 = inv( M_Mat ) * X_Pic_backtransform_1; 
X_Tilde_2 = inv( M_Mat ) * X_Pic_backtransform_2; 
X_Tilde_3 = inv( M_Mat ) * X_Pic_backtransform_3; 
X_Tilde_4 = inv( M_Mat ) * X_Pic_backtransform_4; 
mue_N_1 = -C_tilde(3) / X_Tilde_1(3); 
mue_N_2 = -C_tilde(3) / X_Tilde_2(3); 
mue_N_3 = -C_tilde(3) / X_Tilde_3(3); 
mue_N_4 = -C_tilde(3) / X_Tilde_4(3); 
% Do the inversion of above steps... 
X_World_backtransform_1 = mue_N_1 * inv( M_Mat ) * X_Pic_backtransform_1 + C_tilde; 
X_World_backtransform_2 = mue_N_2 * inv( M_Mat ) * X_Pic_backtransform_2 + C_tilde; 
X_World_backtransform_3 = mue_N_3 * inv( M_Mat ) * X_Pic_backtransform_3 + C_tilde; 
X_World_backtransform_4 = mue_N_4 * inv( M_Mat ) * X_Pic_backtransform_4 + C_tilde; 
% Plot everything
figure(1); 
% First Bird Perspective of World-Coordinate System... 
subplot(1,2,1); 
xlabel('Y-World'); 
ylabel('X-World'); 
grid on; 
axis([-3000 3000 0 22000]); 
hold on; 
plot( -X_World_1(2), X_World_1(1), 'bo' ); 
plot( -X_World_2(2), X_World_2(1), 'bo' ); 
plot( -X_World_3(2), X_World_3(1), 'bo' ); 
plot( -X_World_4(2), X_World_4(1), 'bo' ); 
line([-X_World_1(2) -X_World_2(2) -X_World_4(2) -X_World_3(2) -X_World_1(2)], [X_World_1(1) X_World_2(1) X_World_4(1) X_World_3(1) X_World_1(1)], 'Color', 'blue' ); 
plot( -X_World_backtransform_1(2), X_World_backtransform_1(1), 'ro' ); 
plot( -X_World_backtransform_2(2), X_World_backtransform_2(1), 'ro' ); 
plot( -X_World_backtransform_3(2), X_World_backtransform_3(1), 'ro' ); 
plot( -X_World_backtransform_4(2), X_World_backtransform_4(1), 'ro' ); 
line([-X_World_backtransform_1(2) -X_World_backtransform_2(2) -X_World_backtransform_4(2) -X_World_backtransform_3(2) -X_World_backtransform_1(2)], [X_World_backtransform_1(1) X_World_backtransform_2(1) X_World_backtransform_4(1) X_World_backtransform_3(1) X_World_backtransform_1(1)], 'Color', 'red' ); 
hold off; 
% ...then the camera picture (perspective!)
subplot(1,2,2); 
hold on; 
image(ones(480,640).*255); 
colormap(gray(256)); 
axis([0 640 -480 0]); 
line([X_Pic_1(1) X_Pic_2(1) X_Pic_4(1) X_Pic_3(1) X_Pic_1(1)], -1*[X_Pic_1(2) X_Pic_2(2) X_Pic_4(2) X_Pic_3(2) X_Pic_1(2)], 'Color', 'blue' ); 
line([X_Pic_backtransform_1(1) X_Pic_backtransform_2(1) X_Pic_backtransform_4(1) X_Pic_backtransform_3(1) X_Pic_backtransform_1(1)], -1*[X_Pic_backtransform_1(2) X_Pic_backtransform_2(2) X_Pic_backtransform_4(2) X_Pic_backtransform_3(2) X_Pic_backtransform_1(2)], 'Color', 'red' ); 
hold off;

Sympa mais tu devrais (je conseil vivement de vous) pour citer le nom et l'auteur de la thèse de maîtrise.
c'est là, dans les commentaires dans le milieu du code. Ilker Savas, "Entwicklung eines Systèmes zur visuellen Positionsbestimmung von Interaktionspartnern"

OriginalL'auteur EliteTUM

Vous devez vous connecter pour publier un commentaire.