Was ist der nächste technologische Schritt beim MPR?

Moderator: MVogt

Post Reply
User avatar
Theo_Gottwald
Posts: 367
Joined: 03. Oct 2009, 08:57
Location: Herrenstr.11 * 76706 Dettenheim
Contact:

Was ist der nächste technologische Schritt beim MPR?

Post by Theo_Gottwald » 22. Jun 2021, 06:15

Seit viele Jahren hat sich an der grundsätzlichen Art und Weise, wie der Robot "Elemente in GUI's findet" nicht viel geändert.
Man wählt das Anwendungsfenster mit STW\, und hat dann darin verschiedene Möglichkeiten das Zielelement zu finden und auszulesen.

Genau dieser letzte Schritt hat aber in neuerlicher Zeit oft Schwierigkeiten gemacht, da immer mehr unterschiedliche GUI-Technologien verwendet wurden.
Es war dem User überlassen herauszufinden, wie er nun dieses Element am einfachsten anfahren kann.
Jedenfalls dann, wenn weder InstaRec noch Gelbe Liste ein Element kennen.

Wie kann man das vereinfachen?
Wir wollten etwa was man benutzen kann ohne vorher "GUI-Design" oder Programmierung zu studieren.
Man zeigt dem Robot eine Stelle, er merkt sich diese und findet diese Stelle wieder. Auch wenn die mal woanders ist.
So wie man einem Menschen ein Stelle auf dem Bildschirm zeigt. "So sieht das aus, merk dir das."

Was ist die Lösung?
Wir wollten eine Technologie, die alles finde, egal ob Java-basiert oder im Chrome.Browser - egal.
Es sollten keine PlugIns für Browser erforderlich sein, wie diese von anderen Systemen verlangt werden.
Es sollte überall sofort funktionieren und möglichst in Echtzeit.

So wie man einem Menschen ein Stelle auf dem Bildschirm zeigt. "So sieht das aus, merk dir das."

Und genau das ist natürlich eine Herausforderung denn ein Fenster mit zum Beispiel 1600x1200 Pixel hat ca. 2 Mio. Pixel und im worst case kann ein Muster bei jedem dieser Pixel anfangen. Das bedeutet dass der verwendete Algorythmus sehr schnell sein muss, wenn man den User nicht warten lassen will - und das wollen wir hier nicht.

Dazu kommt eine Windows Eigenheit die damit zu tun hat, dass es Sub-Pixel Antialising gibt.
Das bedeutet dass zum Beispiel die Textfarben je nach dem ob sie unter eine rote, grünen oder blauen Subpixel des LCD-Schirms liegen anders gefärbt werden. Unter der Lupe kann man das erkennen. Oder anders gesagt - auch wenn es für den Benutzer genau gleich aussieht, für den Computer ist es auf dem Bildschirm ganz anders.
Denn der schaut ja nicht "durch die Röhre". Also eigentlich.

Wer den bisherigen Pattern-Algorythmus verwendet hat kennt dieses Problem.
Aus genau diesem Grund hat der bisherige Algo nicht richtig funktioniert seit es "Cleartype & Co." gibt.

Am Ende funktioniert das alles nur, wenn der Robot praktisch die Oberfläche "analysiert wie eine Mensch".
Also quasi "Human Eye Technologie". Und das auch so schnell wie ein Mensch.


Dem Benutzer ist es egal ob das Steuerelement in Java kodiert ist oder ob es ein Kindfenster ist, oder ob es ein Accessibility Object ist. Er zeichnet prtaktisch nur ein Bild von dem Zielbereich auf. So wie ein kleiner Screenshot.

Und nun haben wir das.
Das wird in einem nächsten Schritt dann auch die Grundlage für eine zuverlässige Texterkennung bieten.

Für den SPR ist dass schon verfügbarund für den MPR wird es gerade implementiert.
Das zeigt auch dass es bereits funktioniert - und es ist sehr schnell.

Da wird gerade viel gearbeite, und bald kann auch der MPR jedes beliebige Objekt finden und anfahren.
Man muss es Ihm nur vorher "Mal gezeigt haben".

Wir dürfen also gespannt sein. Auch 2022 wird der MPR wider ganz neue Technologien einführen die es so wo anders noch nicht gibt. Ganz egal welches Ziel - wir können es dann anklicken. Ohne vorher Technologie Studien zu machen.
Last edited by Theo_Gottwald on 05. Mar 2022, 21:54, edited 1 time in total.

User avatar
Theo_Gottwald
Posts: 367
Joined: 03. Oct 2009, 08:57
Location: Herrenstr.11 * 76706 Dettenheim
Contact:

Re: Was ist der nächste technologische Schritt beim MPR?

Post by Theo_Gottwald » 05. Mar 2022, 21:46

Von mir der dezente Hinweis, dass die Patternsuche gerade implementiert wird.
Ebenso wird eine Art "Inline Data" implementiert.

Patternsuche
Perfekt um Dinge zu automatisieren die man mal eben schnell machen muss.
Dabei merkt sich der Roboter "Pattern" also kleine Pixel-Muster und speichert diese "im Code" als "Inline Data".
Dadurch kann er diese später blitzschnell wieder finden und zum Beispiel anklicken.
Anders als bei der bisherigen Patternsuche die nicht richtig funktioniert hat (weil bei Windows sich alle Pattern immer ändern)
ist diese mit einer mehrstufigen "Fuzzy-Logic" versehen und findet daher das Pattern auch mit einer einstellbaren Genauigkeit.

Inline-Data
Das entspricht so dem READ/DATA das es früher in BASIC gab, nur dass man es nicht von Hand codieren muss, sondern dafür gibt es ein Programm "Datamaker", welches Bilder, Daten, Passwörter etc. komprimiert, verschlüsselt und in fix- und fertige in "Inline-Data" - also MPR-Code umwandelt.

Post Reply

Return to “Package Robot”

Who is online

Users browsing this forum: No registered users and 3 guests