Der älteste Trick der Fliege.
Track folgt einem gewählten Objekt durch ein Video mit den Bewegungsdetektoren des Konnektoms: keine Klassenlabels, keine Neuerkennung, nur ein Punkt und eine Geschwindigkeit, in jedem Bild.
Elementare Bewegungsdetektoren im optischen Lobus sind der bestverstandene Schaltkreis der Fliege. Track stellt sie bereit: einen Punkt vorgeben, und das Gehirn hält den Blick darauf, durch Verdeckung und Kamerabewegung hindurch.
Verfolgt durch Verdeckung mit 120 fps.
Track läuft mit 120 fps auf einem Laptop und hält 0,78 AUC auf LaSOT, ohne Modell je Objekt und mit einem 3-MB-Adapter.
Zielwert Mit „Zielwert“ markierte Zahlen sind Entwicklungsziele für das erste Release, keine Messungen.
Gleiches Gehirn, eigene Verdrahtung.
Eingabe-Adapter belegen afferente Regionen, Ausgabe-Adapter lesen efferente. Co-Prozessoren speisen über den Embedding-Port ein.
- FlyCore v0.1.0
- Gewichte v0.1.0-beta
- frames (compound eye)
- seed point
- point, velocity
- keine
import flycore
brain = flycore.load("flylabs/track") # engine + weights + adapters
tracker = brain.seed(frame0, point=(410, 220))
for frame in video:
p, v = tracker(frame)
# p -> (x, y); v -> (vx, vy) px/sAllem folgen, was sich bewegt.
Kameraverfolgung und Auto-Framing
Das Motiv im Videocall oder Sportstream zentriert halten.
Sport- und Laboranalytik
Trajektorien von Bällen, Tieren oder Zellen, ohne Labeling.
- Ein Objekt je Instanz; für mehrere mehrere Instanzen.
- Beta: nur optischer Lobus als Teilnetz, nicht das volle Konnektom.