Comment faire pour déplacer le curseur ou simuler les clics pour d'autres applications?

Je suis entrain de créer une application Windows en C# à l'aide de la Leap Motion Controller. Je suis le développement sur Windows 8 et Visual Studio 2010. J'utilise SetCursorPos et mouse_event de user32.dll pour déplacer le curseur et de simuler les clics.

Je veux que le curseur soit déplacé quand dans n'importe quelle application. Quand je run/debug de Visual Studio, il ne fonctionne que lorsque dans l'application elle-même ou dans Visual Studio. Alors que dans d'autres applications de la souris ne se déplace pas et les clics ne fonctionnent pas, mais si j'essaie de déplacer le curseur avec la souris, il va revenir à la place qu'il occupait au. Lorsque fonctionner de manière autonome, il ne se déplace pas dans Visual Studio et de la souris peut être déplacé avec la souris, dans d'autres applications.

J'ai ce code pour utiliser SetCursorPos et mouse_event:

[DllImport("user32.dll")]
public static extern long SetCursorPos(int x, int y);

[DllImport("User32.Dll")]
public static extern void mouse_event(uint dwFlags, uint dx, uint dy, uint cButtons, uint dwExtraInfo);

public static void MouseClick(uint x, uint y) {
    mouse_event(MOUSEEVENTF_LEFTDOWN | MOUSEEVENTF_LEFTUP, x, y, 0, 0);
}

Dans ma classe de formulaire, j'ai la souris à l'emplacement stocké dans deux domaines. Dans un Timer's tique-je définir la position du curseur et faire nécessaire clics comme ceci:

if (!frame.Hands.IsEmpty) {
    Hand hand = frame.Hands.Leftmost;
    if (!hand.Fingers.IsEmpty) {
        //Get coordinates...
        SetCursorPos(mousex, mousey);
    }
}
foreach (Gesture gesture : gestures) {
    if (gesture.Type == Gesture.GestureType.TYPESCREENTAP) {
        MouseClick(mousex, mousey);
    }
}

La if déclarations sont pour le Saut de l'appareil; je veux déplacer la souris et faire d'autres choses seulement quand il y a une part d'obtenir les coordonnées.

Est-il même possible de déplacer le curseur ou simuler les clics de souris pour d'autres applications? Et si elle l'est, comment?

InformationsquelleAutor PurkkaKoodari | 2013-09-17
  1. 7

    Vous avez m'a incité à revoir certaines de mes automatisation code:

    NativeMethods.cs - obtenu la plupart de cette de en ligne:

    using System;
using System.Runtime.InteropServices;
public class NativeMethods
{
[DllImport( "user32.dll", SetLastError = true )]
internal static extern Int32 SendInput( Int32 cInputs, ref INPUT pInputs, Int32 cbSize );
[StructLayout( LayoutKind.Explicit, Pack = 1, Size = 28 )]
internal struct INPUT
{
[FieldOffset( 0 )] public InputType dwType;
[FieldOffset( 4 )] public MOUSEINPUT mi;
[FieldOffset( 4 )] public KEYBDINPUT ki;
[FieldOffset( 4 )] public HARDWAREINPUT hi;
}
[StructLayout( LayoutKind.Sequential, Pack = 1 )]
internal struct MOUSEINPUT
{
public Int32 dx;
public Int32 dy;
public Int32 mouseData;
public MOUSEEVENTF dwFlags;
public Int32 time;
public IntPtr dwExtraInfo;
}
[StructLayout( LayoutKind.Sequential, Pack = 1 )]
internal struct KEYBDINPUT
{
public Int16 wVk;
public Int16 wScan;
public KEYEVENTF dwFlags;
public Int32 time;
public IntPtr dwExtraInfo;
}
[StructLayout( LayoutKind.Sequential, Pack = 1 )]
internal struct HARDWAREINPUT
{
public Int32 uMsg;
public Int16 wParamL;
public Int16 wParamH;
}
internal enum InputType : int
{
Mouse = 0,
Keyboard = 1,
Hardware = 2
}
[Flags()]
internal enum MOUSEEVENTF : int
{
MOVE = 0x1,
LEFTDOWN = 0x2,
LEFTUP = 0x4,
RIGHTDOWN = 0x8,
RIGHTUP = 0x10,
MIDDLEDOWN = 0x20,
MIDDLEUP = 0x40,
XDOWN = 0x80,
XUP = 0x100,
VIRTUALDESK = 0x400,
WHEEL = 0x800,
ABSOLUTE = 0x8000
}
[Flags()]
public enum KEYEVENTF : int
{
EXTENDEDKEY = 1,
KEYUP = 2,
UNICODE = 4,
SCANCODE = 8
}
///<summary>The MapVirtualKey function translates (maps) a virtual-key code into a scan
///code or character value, or translates a scan code into a virtual-key code
///</summary>
///<param name="uCode">[in] Specifies the virtual-key code or scan code for a key.
///How this value is interpreted depends on the value of the uMapType parameter</param>
///<param name="uMapType">[in] Specifies the translation to perform. The value of this
///parameter depends on the value of the uCode parameter.</param>
///<returns>Either a scan code, a virtual-key code, or a character value, depending on
///the value of uCode and uMapType. If there is no translation, the return value is zero</returns>
///<remarks></remarks>
[DllImport( "User32.dll", SetLastError = false, CallingConvention = CallingConvention.StdCall, CharSet = CharSet.Auto )]
public static extern UInt32 MapVirtualKey( UInt32 uCode, MapVirtualKeyMapTypes uMapType );
///<summary>The set of valid MapTypes used in MapVirtualKey
///</summary>
///<remarks></remarks>
public enum MapVirtualKeyMapTypes : uint
{
///<summary>uCode is a virtual-key code and is translated into a scan code.
///If it is a virtual-key code that does not distinguish between left- and
///right-hand keys, the left-hand scan code is returned.
///If there is no translation, the function returns 0.
///</summary>
///<remarks></remarks>
MAPVK_VK_TO_VSC = 0x0,
///<summary>uCode is a scan code and is translated into a virtual-key code that
///does not distinguish between left- and right-hand keys. If there is no
///translation, the function returns 0.
///</summary>
///<remarks></remarks>
MAPVK_VSC_TO_VK = 0x1,
///<summary>uCode is a virtual-key code and is translated into an unshifted
///character value in the low-order word of the return value. Dead keys (diacritics)
///are indicated by setting the top bit of the return value. If there is no
///translation, the function returns 0.
///</summary>
///<remarks></remarks>
MAPVK_VK_TO_CHAR = 0x2,
///<summary>Windows NT/2000/XP: uCode is a scan code and is translated into a
///virtual-key code that distinguishes between left- and right-hand keys. If
///there is no translation, the function returns 0.
///</summary>
///<remarks></remarks>
MAPVK_VSC_TO_VK_EX = 0x3,
///<summary>Not currently documented
///</summary>
///<remarks></remarks>
MAPVK_VK_TO_VSC_EX = 0x4
}

    }

    MouseInput.cs

    using System;
using System.Collections.Generic;
using System.Diagnostics;
using System.Drawing;
using System.Linq;
using System.Runtime.InteropServices;
using System.Text;
using System.Windows.Forms;
namespace SendInput
{
public class MouseInput
{
public static void LeftClick()
{
DoMouse( NativeMethods.MOUSEEVENTF.LEFTDOWN, new System.Drawing.Point( 0, 0 ) );
DoMouse( NativeMethods.MOUSEEVENTF.LEFTUP, new System.Drawing.Point( 0, 0 ) );
}
public static void LeftClick( int x, int y )
{
DoMouse( NativeMethods.MOUSEEVENTF.MOVE | NativeMethods.MOUSEEVENTF.ABSOLUTE, new System.Drawing.Point( x, y ) );
DoMouse( NativeMethods.MOUSEEVENTF.LEFTDOWN, new System.Drawing.Point( x, y ) );
DoMouse( NativeMethods.MOUSEEVENTF.LEFTUP, new System.Drawing.Point( x, y ) );
}
public static void ClickBoundingRectangleByPercentage( int xPercentage, int yPercentage, System.Drawing.Rectangle bounds )
{
double additional = 0.0;
if ( xPercentage == 99 )
additional = 0.5;
int xPixel = Convert.ToInt32( bounds.Left + bounds.Width * ( xPercentage + additional ) / 100 );
int yPixel = Convert.ToInt32( bounds.Top + bounds.Height * ( yPercentage ) / 100 );
LeftClick( xPixel, yPixel );
}
public static void RightClick()
{
DoMouse( NativeMethods.MOUSEEVENTF.RIGHTDOWN, new System.Drawing.Point( 0, 0 ) );
DoMouse( NativeMethods.MOUSEEVENTF.RIGHTUP, new System.Drawing.Point( 0, 0 ) );
}
public static void RightClick( int x, int y )
{
DoMouse( NativeMethods.MOUSEEVENTF.MOVE | NativeMethods.MOUSEEVENTF.ABSOLUTE, new System.Drawing.Point( x, y ) );
DoMouse( NativeMethods.MOUSEEVENTF.RIGHTDOWN, new System.Drawing.Point( x, y ) );
DoMouse( NativeMethods.MOUSEEVENTF.RIGHTUP, new System.Drawing.Point( x, y ) );
}
public static void MoveMouse( Point p )
{
MoveMouse( p.X, p.Y );
}
public static void MoveMouse( System.Windows.Point p )
{
MoveMouse( Convert.ToInt32( p.X ), Convert.ToInt32( p.Y ) );
}
public static void MoveMouse( int x, int y )
{
DoMouse( NativeMethods.MOUSEEVENTF.MOVE | NativeMethods.MOUSEEVENTF.ABSOLUTE, new System.Drawing.Point( x, y ) );
}
public static System.Drawing.Point GetMousePosition()
{
return Cursor.Position;
}
public static void ScrollWheel( int scrollSize )
{
DoMouse( NativeMethods.MOUSEEVENTF.WHEEL, new System.Drawing.Point( 0, 0 ), scrollSize );
}
private static void DoMouse( NativeMethods.MOUSEEVENTF flags, Point newPoint, int scrollSize = 0 )
{
NativeMethods.INPUT input = new NativeMethods.INPUT();
NativeMethods.MOUSEINPUT mi = new NativeMethods.MOUSEINPUT();
input.dwType = NativeMethods.InputType.Mouse;
input.mi = mi;
input.mi.dwExtraInfo = IntPtr.Zero;
//mouse co-ords: top left is (0,0), bottom right is (65535, 65535)
//convert screen co-ord to mouse co-ords...
input.mi.dx = newPoint.X * 65535 / Screen.PrimaryScreen.Bounds.Width;
input.mi.dy = newPoint.Y * 65535 / Screen.PrimaryScreen.Bounds.Height;
input.mi.time = 0;
input.mi.mouseData = scrollSize * 120;
//can be used for WHEEL event see msdn
input.mi.dwFlags = flags;
int cbSize = Marshal.SizeOf( typeof ( NativeMethods.INPUT ) );
int result = NativeMethods.SendInput( 1, ref input, cbSize );
if ( result == 0 )
Debug.WriteLine( Marshal.GetLastWin32Error() );
}
}
}
    • À partir de SendInput: "La SendInput fonction insère les événements dans les structures d'ENTRÉE en série à l'aide du clavier ou de la souris flux d'entrée. Ces événements ne sont pas intercalés avec d'autres clavier ou de la souris événements d'entrée inséré par l'utilisateur (avec le clavier ou la souris) ou par des appels à keybd_event, mouse_event, ou d'autres appels à SendInput." Et votre code va comme ceci: "Ouais, ben, merci. Que vais sûrement faire pour certains la mise en œuvre robuste, mais je vais simplement vous décidez d'aller avec les fragiles hack des derniers millénaires."
    • Je suis peut-être commencer à voir ce que vous obtenez en, le problème est que lorsque je suis en train de faire de multiples combinaisons de touches, clique, bouge, etc, je devrais être en train de passer tous à la fois dans la structure d'entrée? Je suis en utilisant ce code pour vous aider à automatiser les commandes vocales - j'en général d'éviter de taper au clavier et en cliquant tandis que l'automatisation est en tapant ou en cliquant sur... qui semble comme une mauvaise idée de toute façon 🙂 je suppose que si le programme a été d'essayer de déplacer la souris quelque part et cliquez sur, je pourrais déplacer la souris en même temps et mess it up?
    InformationsquelleAutor Derek
  2. 1

    Oui, vous voulez utiliser le "SendInput" de la fonction.

    voir: SendInput ne fonctionne pas cliquez sur le bouton de souris, à moins que j'ai déplacer le curseur

    Aussi,

    http://www.pinvoke.net/default.aspx/user32.sendinput

    et

    http://www.pinvoke.net/default.aspx/Structures/INPUT.html

    J'ai corrigé le premier hyper lien - voir le commentaire à propos de:

    Il ya quelques choses que vous devriez considérer lors de l'utilisation de la SendInput fonction.

    Si vous ne spécifiez pas le MOUSEEVENTF_ABSOLUTE drapeau alors dx et dy (MouseInputData structure) sont les coordonnées relatives à la position actuelle de la souris. Si vous ne spécifiez MOUSEEVENTF_ABSOLUTE alors dx et dy sont des coordonnées absolues entre 0 et 65535. Donc, si vos coordonnées x et y sont les coordonnées de l'écran, vous devez utiliser la fonction suivante pour calculer dx et dy:

    et

    http://msdn.microsoft.com/en-us/library/ms646310%28VS.85%29.aspx

    • Essayé. Le déplacement de la souris a été mis à l'échelle en haut à gauche (les coordonnées transmises à SendInput étaient correctes, mais la souris est allé aux coordonnées comme 10 fois plus petit). Aussi, ne fonctionne toujours pas dans d'autres applications, qui était à l'origine de problème.
    • J'ai mis à jour mon commentaire. SendInput fonctionne.
    • J'ai eu les coordonnées de travailler, mais elle n'est pas toujours déplacer le curseur dans d'autres applications. Cependant réglage uiAccess="true" dans le manifeste fait le curseur bloqué pour d'autres applications. Je vais probablement regarder dans mon Saut de code, comme le problème semble être là.
    InformationsquelleAutor Derek
  3. 1

    J'ai réussi à résoudre le problème moi-même.

    Il y avait deux problèmes. Le premier (et le principal), il fallait que le Saut de l'appareil n'était pas de l'envoi de cadres à ma demande quand il était à l'arrière-plan. Qui a été résolu par l'ajout de ce code à l'attention de l'auditeur onConnect() méthode, comme l'a suggéré ici:

    controller.SetPolicyFlags(Controller.PolicyFlag.POLICYBACKGROUNDFRAMES);

    Le deuxième problème c'est que lors de l'exécution autonome de l'application n'ont pas accès à l'envoi de données d'entrée pour d'autres applications. J'ai suivi les instructions trouvées ici (faites défiler vers le bas, il y a d'infos sur uiAccess) et ici et signé de ma candidature, et ajouté à cela le manifeste:

    <requestedExecutionLevel level="asInvoker" uiAccess="true" />
    InformationsquelleAutor PurkkaKoodari