Comment faire pour capturer le bureau dans OpenCV (ie. transformer une image bitmap dans une Mat)?

Je veux utiliser OpenCV pour le traitement de mon bureau comme si il s'agissait d'un flux vidéo.

Je suis familier avec OpenCV.

Je ne suis pas familier avec l'API Windows.
Je me rends compte il y a d'autres façons de capturer l'écran, mais pour les besoins de ma question, j'en ai besoin pour être fait à l'aide d'OpenCV.

Voici mon (super naïve) code:

HWND hDesktopWnd;
HDC hDesktopDC;
hDesktopWnd=GetDesktopWindow();
hDesktopDC=GetDC(hDesktopWnd);

//get the height and width of the screen
int height = GetSystemMetrics(SM_CYVIRTUALSCREEN);
int width = GetSystemMetrics(SM_CXVIRTUALSCREEN);

//create a bitmap
HBITMAP hbDesktop = CreateCompatibleBitmap( hDesktopDC, width, height);

Mat src(height,width,CV_8UC4);
src.data = (uchar*)hbDesktop;

imshow("output",src);  //fails :(

Il y a des questions similaires sur StackOverflow, mais ils sont soit pour le style ancien OpenCV, ou pour le système d'exploitation Android.

Je suis sur windows 7 64x

Opencv 2.4.3

Merci quelqu'un qui peut répondre à cette question.

InformationsquelleAutor john ktejik | 2013-01-03
  1. 39

    Après BEAUCOUP d'essai et d'erreur, j'ai réussi à écrire une fonction pour le faire. ici c'est pour les personnes qui pourraient en avoir besoin:

    #include "stdafx.h"
#include "opencv2/core/core.hpp"
#include "opencv2/imgproc/imgproc.hpp"
#include <opencv2/highgui/highgui.hpp>
#include <Windows.h>
#include <iostream>
#include <string>
using namespace std;
using namespace cv;

Mat hwnd2mat(HWND hwnd){

    HDC hwindowDC,hwindowCompatibleDC;

    int height,width,srcheight,srcwidth;
    HBITMAP hbwindow;
    Mat src;
    BITMAPINFOHEADER  bi;

    hwindowDC=GetDC(hwnd);
    hwindowCompatibleDC=CreateCompatibleDC(hwindowDC);
    SetStretchBltMode(hwindowCompatibleDC,COLORONCOLOR);  

    RECT windowsize;    //get the height and width of the screen
    GetClientRect(hwnd, &windowsize);

    srcheight = windowsize.bottom;
    srcwidth = windowsize.right;
    height = windowsize.bottom/2;  //change this to whatever size you want to resize to
    width = windowsize.right/2;

    src.create(height,width,CV_8UC4);

    //create a bitmap
    hbwindow = CreateCompatibleBitmap( hwindowDC, width, height);
    bi.biSize = sizeof(BITMAPINFOHEADER);    //http://msdn.microsoft.com/en-us/library/windows/window/dd183402%28v=vs.85%29.aspx
    bi.biWidth = width;    
    bi.biHeight = -height;  //this is the line that makes it draw upside down or not
    bi.biPlanes = 1;    
    bi.biBitCount = 32;    
    bi.biCompression = BI_RGB;    
    bi.biSizeImage = 0;  
    bi.biXPelsPerMeter = 0;    
    bi.biYPelsPerMeter = 0;    
    bi.biClrUsed = 0;    
    bi.biClrImportant = 0;

    //use the previously created device context with the bitmap
    SelectObject(hwindowCompatibleDC, hbwindow);
    //copy from the window device context to the bitmap device context
    StretchBlt( hwindowCompatibleDC, 0,0, width, height, hwindowDC, 0, 0,srcwidth,srcheight, SRCCOPY); //change SRCCOPY to NOTSRCCOPY for wacky colors !
    GetDIBits(hwindowCompatibleDC,hbwindow,0,height,src.data,(BITMAPINFO *)&bi,DIB_RGB_COLORS);  //copy from hwindowCompatibleDC to hbwindow

    //avoid memory leak
    DeleteObject (hbwindow); DeleteDC(hwindowCompatibleDC); ReleaseDC(hwnd, hwindowDC);

    return src;
}
    • Lignes suivantes pourraient être ajoutés pour éviter la fuite de mémoire: DeleteObject (hbwindow); DeleteDC(hwindowCompatibleDC); ReleaseDC(hwnd, hwindowDC);
    • Grand. Merci pour le code. J'ai ajouté le code de @Steck à votre message pour le rendre complet.
    • Merci pour le code, il fonctionne parfaitement. Ajout d'informations de votre question initiale, pour obtenir le handle de l'écran. Ajouté le commentaire de @Steck de mon code et de la modification de votre réponse avec ceux de la mémoire libère. Espérons que c'était ok.
    • Je suis en train de l'utiliser pour capturer une MEmu fenêtre. Il ne capture que le "cadre" de windows (titre de la fenêtre, les éléments de menu, le bouton de fermeture, etc). Une idée de pourquoi cela se produit?
    • Est-ce de travailler dans Win10? Avec quelques ajustements dans le code sur la hauteur et la largeur, pour moi, il retourne cadre noir quand hwnd est la poignée de la fenêtre, mais quand il est NUL, il fait ce qu'il est censé, de retour de l'ensemble de l'écran.
    InformationsquelleAutor john ktejik
  2. 11

    Une meilleure façon de le faire est de le faire alors que l'allocation de mémoire pour les pixels qu'une seule fois. donc, la seule copie faite ici est celle qui fait par BitBlt

    Comment faire pour capturer le bureau dans OpenCV (ie. transformer une image bitmap dans une Mat)?

    int main()

{

    int x_size = 800, y_size = 600; //<-- Your res for the image





    HBITMAP hBitmap; //<-- The image represented by hBitmap

    Mat matBitmap; //<-- The image represented by mat





    //Initialize DCs

    HDC hdcSys = GetDC(NULL); //Get DC of the target capture..
    HDC hdcMem = CreateCompatibleDC(hdcSys); //Create compatible DC 






    void *ptrBitmapPixels; //<-- Pointer variable that will contain the potinter for the pixels









    //Create hBitmap with Pointer to the pixels of the Bitmap
    BITMAPINFO bi; HDC hdc;
    ZeroMemory(&bi, sizeof(BITMAPINFO));
    bi.bmiHeader.biSize = sizeof(BITMAPINFOHEADER);
    bi.bmiHeader.biWidth = x_size;
    bi.bmiHeader.biHeight = -y_size;  //negative so (0,0) is at top left

    bi.bmiHeader.biPlanes = 1;

    bi.bmiHeader.biBitCount = 32;
    hdc = GetDC(NULL);
    hBitmap = CreateDIBSection(hdc, &bi, DIB_RGB_COLORS, &ptrBitmapPixels, NULL, 0);
    //^^ The output: hBitmap & ptrBitmapPixels


    //Set hBitmap in the hdcMem 
    SelectObject(hdcMem, hBitmap);



    //Set matBitmap to point to the pixels of the hBitmap
    matBitmap = Mat(y_size, x_size, CV_8UC4, ptrBitmapPixels, 0);
    //               ^^ note: first it is y, then it is x. very confusing

    //* SETUP DONE *




    //Now update the pixels using BitBlt
    BitBlt(hdcMem, 0, 0, x_size, y_size, hdcSys, 0, 0, SRCCOPY);


    //Just to do some image processing on the pixels.. (Dont have to to this)
    Mat matRef = matBitmap(Range(100, 200), Range(100, 200));
    //                             y1    y2            x1     x2
    bitwise_not(matRef, matRef); //Invert the colors in this x1,x2,y1,y2




    //Display the results through Mat
    imshow("Title", matBitmap);

    //Wait until some key is pressed

    waitKey(0);


    return 0;


}

    Noter qu'aucune erreur de manipulation fait ici pour le rendre facile à comprendre, mais vous devez le faire de la gestion d'erreur dans votre code!

    Espère que cette aide

    • Pourquoi GetDC(NULL) deux fois?
    • Cool. Il est intéressant de noter que le code ci-dessus si elle est utilisée dans reproductible scénarios en boucle (par exemple) va laisser des fuites de mémoire et inondera votre segment de mémoire / crash de l'application dans un long terme. Vous devez appeler DeleteObject(hBitmap); et matBitmap.release() après vous terminé avec votre image.
    InformationsquelleAutor gil123