Ein Cursor, der sich wie eine Hand bewegt.
Cursor macht aus Bildschirm und Ziel eine Mausbewegung: gehe zu x,y, klicken, Doppelklick, Rechtsklick, Drag and Drop. Trainiert auf menschlichen Aufzeichnungen, mit Beschleunigung, Überschießen und Korrektur einer echten Hand.
Der Bildschirm gelangt so ins Gehirn wie die Welt in eine Fliege: eine grobe Gesamtansicht plus ein foveales Fenster um den Cursor, abgebildet auf die visuellen Afferenzen. Cursorposition und Tastenzustand kommen als Propriozeption. Das Ziel kommt als Markierung, oder als Einbettung eines Sprach-Co-Prozessors, wenn Sie „klicke Speichern“ sagen.
Bewegung verlässt das Gehirn über die absteigenden Neuronen. Ein kleiner Decoder liest sie mit 100 Hz als dx, dy und drei Tastenzustände. Doppelklick, Rechtsklick und Ziehen sind keine eigenen Aktionen, sondern zeitliche Muster, die das rekurrente Gehirn gelernt hat.
In 0,6 Sekunden am Ziel.
Auf einem Fitts-Raster mit 1.000 Zielen erreicht Cursor das Ziel im Median in 0,6 s und setzt den Klick in 97 % der Fälle. Trajektorien entsprechen menschlichen Aufzeichnungen in Geschwindigkeitsprofil und Endpunktstreuung.
Zielwert Mit „Zielwert“ markierte Zahlen sind Entwicklungsziele für das erste Release, keine Messungen.
Gleiches Gehirn, eigene Verdrahtung.
Eingabe-Adapter belegen afferente Regionen, Ausgabe-Adapter lesen efferente. Co-Prozessoren speisen über den Embedding-Port ein.
- FlyCore v0.1.0
- Gewichte v0.1.0
- screen (fovea + overview)
- cursor state
- target marker
- mouse (dx, dy, buttons)
- Intent (optional)
import flycore
brain = flycore.load("flylabs/cursor") # engine + weights + adapters
agent = brain.attach(screen=flycore.io.Screen(), mouse=flycore.io.Mouse())
agent.go(target=(842, 310), action="double_click")
# agent.trajectory -> [(t, x, y, buttons), ...]Bewegen, klicken, ziehen. Wie eine Hand.
UI-Testautomatisierung
Echte Oberflächen so bedienen wie Nutzer, inklusive Fehler: Hover-Zustände, Zieh-Schwellen, Doppelklick-Timing.
Assistive Eingabe
Joystick, Blickverfolgung oder einen einzelnen Schalter auf eine vollständige Maus abbilden; das Gehirn ergänzt die Bewegung.
Spiel- und Simulationsagenten
Point-and-Click-Agenten, die auf dem Bildschirm glaubwürdig wirken und innerhalb der Spielregeln bleiben.
- Nicht zum Umgehen von Bot-Erkennung. Cursor ist für Oberflächen lizenziert, die Ihnen gehören oder die Sie automatisieren dürfen.
- Das Ziel muss vorgegeben sein. Cursor fährt zu einer Markierung oder Einbettung; „den Speichern-Button“ aus einer Beschreibung zu finden, braucht den Intent-Co-Prozessor.
- Die Bildschirmauflösung ist grob. Ziele unter 8 px auf einem 4K-Bildschirm brauchen das foveale Fenster.
- In 0.1 nur Desktop. Touch- und Stifteingabe stehen auf der Roadmap.