Was ist der nächste technologische Schritt beim MPR?

Moderator: MVogt

Antworten
Benutzeravatar
Theo_Gottwald
Beiträge: 326
Registriert: 03. Okt 2009, 08:57
Wohnort: Herrenstr.11 * 76706 Dettenheim
Kontaktdaten:

Was ist der nächste technologische Schritt beim MPR?

Beitrag von Theo_Gottwald » 22. Jun 2021, 06:15

Seit viele Jahren hat sich an der grundsätzlichen Art und Weise, wie der Robot "Elemente in GUI's findet" nicht viel geändert.
Man wählt das Anwendungsfenster mit STW\, und hat dann darin verschiedene Möglichkeiten das Zielelement zu finden und auszulesen.

Genau dieser letzte Schritt hat aber in neuerlicher Zeit oft Schwierigkeiten gemacht, da immer mehr unterschiedliche GUI-Technologiern verwendet wurden. Es war dem User überlassen herauszufinden, wie er nun dieses Element am einfachsten anfahren kann. Jedenfalls dann, wennes weder InstaRec noch Gelbe Liste kennen.

Nicht überall konnte man so leicht jeden Button und jedes Element lokalisiern.
Manchmal ging es auch gar nicht ohne Fenster-Positionsrelative Klicks.

Was ist die Lösung?
Wir wollten eine Technologie, die alles finde, egal ob Java-basiert oder im Chrome.Browser - egal.
Es sollten keine PlugIns für Browser erforderlich sein, wie diese von anderen Systemen verlangt werden.
Es sollte überall sofort funktionieren und möglichst in Echtzeit.

Und genau das ist natürlich eine Herausforderung denn ein Fenster mit zum Beispiel 1600x1200 Pixel hat ca. 2 Mio. Pixel undim worst case kann ein Muster bei jedem dieser Pixel anfangen.
Das bedeutet dass der verwendete Algorythmus sehr schnell sein muss, wenn man den User nicht warten lassen will - und das wollen wir hier nicht.

Dazu kommt eine Windows Eigenheit die damit zu tun hat, dass es Sub-Pixel Antialising gibt.
Das bedeutet dass zum Beispiel die Textfarben werden je nach dem ob sie unter eine rote, grünen oder blauen Subpixel des LCD-Schirms liegen anders gefärbt. Unter der Lupe kann man das erkennen. Oder anders gesagt - auch wenn es für denBenutzer genau gleich aussieht,
Für den Computer ist es auf dem Bildschirm ganz anders. Denn der schaut ja nicht "durch die Röhre".
Wer den bisherigen Pattern-Algorythmus verwendet hat kennt dieses Problem.

Aber am Ende funktioniert das alles nur, wenn der Robot praktisch die Oberfläche "analysiert wie eine Mensch".
Also quasi "Human Eye Technologie". Und das auch so schnell wie ein Mensch.
Dem Benutzer ist es egal ob das Steuerelement in Java kodiert ist oder ob es ein Kindfenster ist, oder ob es ein Accessibility Object ist. Er zeichnet prtaktisch nur ein Bild von dem Zielbereich auf. So wie ein kleiner Screenshot.

Und nun haben wir das, das wird in einem nächsten Schritt dann auch die Grundlage für eine zuverlässige Texterkennung bieten.

Für den SPR ist dass schon verfügbar (also wer so etwas sofort braucht kann bei mir anfragen).
Das zeigt auch dass es bereits funktioniert - und es ist sehr schnell.

Für den MPR muss es noch implementiert werden, das werden wir sehen ob / wann es kommen könnte.

Wenn es implementiert wird, kann auch der MPR jedes beliebige Objekt finden und anfahren.
Man muss es Ihm nur vorher "Mal gezeigt haben".

Wir dürfen also gespannt sein. Ganz egal welches Ziel - wir können es dann anklicken.
Ohne vorher Technologie Studien zu machen.

Antworten

Zurück zu „Package Robot“

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast