Wie Neuromorphic Bild-Sensoren Tricks vom menschlichen Auge stehlen

Zu meinen Favoriten hinzufügen

Automatische Übersetzung anzeigen

#White Papers

{{{sourceTextContent.title}}}

{{{sourceTextContent.subTitle}}}

{{{sourceTextContent.description}}}

Als gründete Eadweard Muybridge seine Kameras bei Leland Stanford? Pferdenbauernhof s-Palo Alto 1878, könnte er die Revolution kaum sich vorgestellt haben, die er imwar Begriff, um zu funken. Muybridge brachte Dutzend oder mehr unterschiedliche Kameras unter Verwendung der Reisedrähte in ordnung, damit sie in einer Schnellfeuer Reihenfolge auslösten, die ein von Stanford notieren würde? sthoroughbreds mit Geschwindigkeit. Die fotographischen Resultate beendeten eine Debatte unter dem Laufen der Enthusiasten und herstellten, dass ein galoppierendes Pferd kurz alle vier Beine weg vom Boden hat? obgleich es so schnell es geschieht? s unmöglich, damit jedermann sieht. Wichtiger, fand Muybridge bald heraus, wie man Kopien der Bilder nochmals spielt, die er von den Tiergangarten auf eine Art nahm, die seine Themen scheinen ließ sich zu bewegen.

Erzeugungen des Filmes und der Videokameras, heute umfassend? s-können beste Darstellungsysteme, ihre Abstammung zurück zu Muybridge verfolgen? s-boxy Kameras. Selbstverständlich benutzt moderne Ausrüstung Festkörperdetektoren anstelle von den Glasplatten, und die Zahl Rahmen, die jede Sekunde genommen werden können, ist in beträchtlichem Ausmaß größer. Aber die grundlegende Strategie ist identisch: Sie nehmen eine Reihenfolge der ruhigen Bilder gefangen, die, wenn sie abgespielt werden, dem Projektor die Illusion der Bewegung schnell gibt.

Wirklich sogar mit einer hohen Rahmenrate, kann Ihre Ausrüstung möglicherweise nicht bis zur Aufgabe sein: Was auch immer Sie versuchen, zu analysieren, konnten zu schnell ändern. Was dann tun Sie? Viele Ingenieure würden diese Frage beantworten, indem sie nach Weisen suchten, die Rate des videorahmens unter Verwendung der Elektronik mit höherem Durchsatz aufzuladen. Wir argumentieren dass Sie? d ist besser gestellt, das vollständige Problem nachprüfend und Ihre Videoausrüstung entwerfend, also funktioniert es weniger wie Muybridge? s-Kameras und arbeitet anstatt eher wie seine Augen.

Die allgemeine Strategie der Schaffung der elektronischen Signal-verarbeitensysteme, die durch die biologische angespornt werden, wird neuromorphic Technik genannt. Für Dekaden ist diese Bemühung eine Übung in der reinen Forschung gewesen, aber in den letzten 10 Jahren oder so, haben wir und andere Forscher diese Annäherung ausgeübt, um praktische Anblicksysteme zu errichten. Zu verstehen wie ein künstliches Auge der Art wir? nachforschendes VE kann sogar eine HochgeschwindigkeitsVideokamera an Leistung übertreffen, ließ uns disabuse Sie zuerst von der Idee, dass die Weise, die modernes videozahnrad laufen lässt, vernünftig ist.

Stellen Sie sich während eines Momentes vor, der Sie? Reversuchen, etwas zu analysieren, das wirklich schnell sagen wir ein Krug geschieht, der einen Baseball wirft. Wenn Sie versuchen, eine herkömmliche Videokamera zu benutzen, die an etwas wie 30 oder möglicherweise sogar an 60 Bildern pro Sekunde notiert, Sie? ll Verlust am meisten der Bewegung des Kruges? s-Arm, wie er die Kugel in Richtung zur Platte peitscht. Möglicherweise verfangen sich einige Rahmen seinen Arm in den verschiedenen Positionen. Aber Sie? ll Sicherung relativ wenige Informationen des Interesses, zusammen mit viel überflüssigen Bildern des Kruges? s-Damm, der Innenfeldrasen und andere unveränderliche Teile des Hintergrundes. Das heißt, die Szene sind Sie Rekord under- und gleichzeitig oversampled!

Dort? s keine Weise, dieses Problem zu vermeiden angenommen, alle Teile des Bild-Sensors in Ihrer Kamera eine allgemeine TIMING-Quelle teilen. Während diese Schwäche gewann? t ist ein Problem für einen beiläufigen Projektor, wenn Sie einen Computer Nuancen des Kruges analysieren wünschten? s-Armbewegung, Ihre Daten ist erbärmlich unzulänglich. In einigen Fällen konnte hoch entwickelte Nachbearbeitung Sie die Resultate ableiten lassen, die Sie wünschten. Aber diese Gewaltannäherung würde Sie in der Umwelt mit begrenzten der Bandbreite und der Datenverarbeitung Betriebsmitteln der Energie, wie auf tragbaren Geräten, multicopter Drohnen oder anderen Arten kleine Roboter verlassen.

Die Maschineanblick Gemeinschaft ist mit diesem grundlegenden Problem für Dekaden fest gewesen. Aber die Situation kann für das bessere bald ändern, während wir und andere Forscher die Ausrüstung entwickeln, die verschiedene Teile der Szene mit unterschiedlicher Rate probiert und nachahmen, wie das Auge arbeitet. Mit solchem Zahnrad jene Teile der Szene, die enthalten, Zeitraffer werden probiert schnell, beim langsam-Ändern Teile mit niedrigerer Rate probiert werden und vollständig gehen unten bis null, wenn nichts ändert.

Videokameras zu erhalten, um diese Weise zu bearbeiten ist heikel, weil Sie anziehen? t wissen vorher, das die Teile der Szene ändern und wie schnell sie so tun. Aber, wie wir unten beschreiben, das menschliches Augen- und Gehirnabkommen mit diesem Problem ständig. Und die Belohnungen der Kopie, wie sie arbeiten, würden enorm sein. Nicht nur würde es sich schnell ändernde Themen bilden? Explosionen, Insekte im Flug, Glas zerbrechend? zugänglicher Analyse, würde es auch die Videokameras auf smartphones und andere batteriebetriebene Vorrichtungen zu den gewöhnlichen Rekordbewegungen unter Verwendung viel weniger Energie erlauben.

Ingenieure vergleichen häufig das Auge zu einer Videokamera. Es gibt etwas Ähnlichkeiten, zum sicher zu sein, aber in der Wahrheit ist das Auge eine viel schwierigere Kreation. Insbesondere Leute? s-Retinae ziehen an? t-gerade Umdrehungslicht in elektrische Signale: Sie verarbeiten den Ausgang des Auges? s-Fotorezeptorzellen auf die hoch entwickelten Arten, das Material des Interesses gefangennehmend? räumliche und zeitliche Änderungen? und diese Informationen zum Gehirn in einer erstaunlich leistungsfähigen Weise schickend.

Das Wissen wie gut diese Annäherung für Augen arbeitet, wir und andere studieren Maschineanblick Systeme, in denen jedes Pixel seine eigene Probenahme in Erwiderung auf Änderungen in der Menge des Vorfalllichtes justiert, das, sie empfängt. Was? s, das benötigt wird, um diesen Entwurf einzuführen, ist elektronischer Schaltkreis, der die Umfänge jedes Pixels ununterbrochen aufspüren und Änderungen nur jener Pixel notieren kann, die in helles Niveau durch irgendein sehr vorgeschriebenes etwas sich verschieben.

Diese Annäherung wird Niveauüberfahrt Probenahme genannt. In der Vergangenheit haben einige Leute unter Verwendung sie für akustische Signale erforscht? z.B. auf der Menge von Daten Sie verringern? d müssen mit der üblichen Konstantrate Probenahme notieren. Und akademische Forscher haben elektronische Entsprechungen der Retina im Silikon zu den Forschungszwecken seit dem Ende der 80en Jahre aufgebaut. Aber nur in der Vergangenheit Dekade haben die Ingenieure, die versucht werden, um die Niveauüberfahrt anzuwenden, die am praktischen Realzeiterwerb von Bildern probiert.

Angespornt durch die Biologie des Auges und des Gehirns, fingen wir an, die Toner zu entwickeln, die Reihen der unabhängig funktionierenden Pixel-Sensoren im frühen 2000s enthalten. In unseren neueren Kameras wird jedes Pixel zu einem Niveauüberfahrt Detektor und zu einem unterschiedlichen Belichtungmaß Stromkreis angebracht. Für jedes einzelne Pixel ermitteln die Elektronik wenn der Umfang dieses Pixels? s-Signal erreicht eine vorher hergestellte Schwelle über oder unterhalb dem letzt-notierten Signalniveau, an dessen Punkt das neue Niveau dann notiert wird. Auf diese Art optimiert jedes Pixel seine eigene Probenahme abhängig von den Änderungen im Licht, das sie einläßt.

Mit dieser Anordnung wenn die Menge des Lichtes ein gegebenes Pixel erreichend schnell ändert, dass Pixel häufig probiert wird. Wenn nichts ändert, stoppt das Pixel, zu erwerben, was gerade redundante Informationen sein würde und geht Leerlauf, bis Sachen beginnen, in seinem kleinen Blickfeld wieder zu geschehen. Der elektronische Schaltkreis verband mit Ausgängen dieses Pixels ein neues Maß eher, wie eine Änderung ermittelt wird, und sie auch die Position in der Sensor-Reihe des Pixels im Auge behält, das diese Änderung erfährt. Diese Ausgänge oder? Ereignisse? werden entsprechend einer Protokoll Aufrufadressen-Ereignis-Darstellung verschlüsselt, die aus Transchiermesser-Met herauskam? s-Labor bei Caltech im Anfang der 90er. Der Zug von Ereignissen solch eine Ausgänge eines Anblick-Sensors ähnelt folglich dem Zug der Spitzen, die Sie sehen, wenn Sie die Signale messen, die entlang einen Nerv reisen.

Der Schlüssel ist, dass die Sichtinformationen nicht als die übliche Reihe der kompletten Rahmen erworben oder notiert werden, die bis zum Millisekunden getrennt werden. Eher es? s erzeugt mit einer viel höheren Rate? aber nur von den Teilen des Bildes, in dem es neue Messwerte gibt. Infolgedessen gerade die Informationen, die wird erworben relevant ist, übertragen, gespeichert und durch Maschineanblick Algorithmen schließlich verarbeitet.

Wir entwarfen die Niveauüberfahrt und die Meldeleitungen in unserer Kamera, um mit flammender Geschwindigkeit zu reagieren. Mit unserer Ausrüstung sind Datenerfassung- und Auslesenzeiten einiger 10 Nanosekunden in hell beleuchteten Szenen möglich. Für Standardc$raumlicht Niveaus erfordert Erwerb und Auslesen einige 10 Mikrosekunden. Diese Rate ist über allen aber dem vorhandenen heutigen Tag der hoch entwickeltesten HochgeschwindigkeitsVideokameras, Kamerakostenberechnunghunderte hinaus von Tausenden Dollar. Und selbst wenn Sie solch eine Kamera dir leisten konnten, würde sie Sie mit meistens wertlosen Informationen überschwemmen. Das Probieren der verschiedenen Pixel mit unterschiedlicher Rate verringert einerseits nicht gerade Ausstattungskosten aber auch Leistungsaufnahme, Getriebebandbreite und Gedächtnisanforderungen? Vorteile, die gut über dem Erwerbsstadium hinaus verlängern. Aber Sie? ll verschwenden jenen Nutzen, wenn alles, das Sie tun, wieder aufbauen eine Reihe gewöhnliche videorahmen von den Daten ist, damit Sie herkömmliche Bildverarbeitungsalgorithmen anwenden können.

Um das Potenzial der eyelike Anblick-Sensoren völlig freizusetzen, müssen Sie den vollständigen Begriff eines videorahmens verlassen. Das kann wenig, stark sein, zum Ihres Kopfes herum zu erhalten, aber, sobald Sie das tun, werden Sie befreit, und die folgenden, Sie verarbeitend, tun zu den Daten können Sachen lösen, die Sie anders leicht verfehlen konnten? einschließlich die ausführlichen Armbewegungen unseres hypothetischen Baseballkruges.

Zu tun dieses, obwohl, Sie? ll müssen überdenken, wie Sie die Daten verarbeiten, und Sie? ll müssen neuen Code vermutlich schreiben, anstatt, eine Standardc$videoanalyse Bibliothek zu benutzen. Aber die mathematischen Formulierungen, die für diese neue Art der Videokamera passend sind, sind einfach und elegant, und sie erbringen einige sehr leistungsfähige Algorithmen. In der Tat wenn wir solche Algorithmen am Ausgang unserer autosampling Anblick-Sensoren anwendeten, waren wir in der Lage, zu zeigen, dass bestimmte Realzeitanblickaufgaben mit einer Rate von 10 zu den sogar Hunderten kHz laufen gelassen werden konnten, während herkömmliche Rahmen-gegründete Videoanalyse Techniken auf die gleiche Situation zutrafen, die heraus an einem schmerzlich langsamen 60 Hz überstiegen wurde.

Ein anderer Vorteil des Analysierens der fast ununterbrochenen Datenströme von unseren eyelike Sensoren anstelle von einer Reihe herkömmlichen videorahmen ist, dass wir gute Verwendung vom Signal-TIMING bilden können, gerade wie biologische Neuronen tun. Dieses ist möglicherweise das Beste, das mit einem spezifischen Beispiel erklärt wird.

Nehmen Sie an, dass Sie einen mobilen Roboter entwerfen wollten, der ein Maschineanblick System benutzt, um seine Umwelt zu steuern. Offenbar ein 3-D Diagramm der Sachen um es würde zu haben nützlich sein. So Sie? d keine Zweifelsausstattung der Roboter mit zwei ein wenig getrennten Kameras, damit er Stereoanblick hatte. Dass viel genug einfach ist. Aber jetzt müssen Sie sein Robotergehirn programmieren, um die Daten zu analysieren, die es von seinen Kameras und von Umdrehung empfängt, die in eine Darstellung des 3-D Raumes.

Wenn beide Kameras eindeutiges etwas notieren? gelassen? s sagen ihn? Person S.-A., die vor dem Roboter tritt? es? s einfach genug, auszuarbeiten, wie weit entfernt die Person ist. Aber nehmen Sie an, dass zwei verschiedene Leute den Roboter betreten? s-Blickfeld gleichzeitig. Oder sechs Leute. Ausarbeiten, ist welches, welches in den zwei Kameraansichten jetzt schwieriger erhält. Und ohne in der Lage zu sein, Identitäten für sicheres zu ermitteln, ist der Roboter nicht in der Lage, die 3-D Position von jedem dieser menschlichen Hindernisse festzustellen.

Mit Anblick-Sensoren der Art wir? VE, das, solche zusammenpassenden Betriebe studiert, werden einfacher: Sie müssen gerade nach Übereinstimmungen in den Messwerten von den zwei Kameras suchen. Wenn Pixel von den unterschiedlichen Kameras Änderungen am sehr gleichen Augenblick registrieren, beobachten sie fast zweifellos das gleiche Ereignis. Das Anwenden einiger geometrischer Standardtests an den beobachteten Übereinstimmungen kann das Gleiche weiter unten nageln.

Tobi Delbrück und andere an ETH Zürich zeigte die Energie dieser Annäherung 2007, indem er einen kleinräumigen Roboterfußball-Tormann errichtete, der einen eyelike Sensor verwendet, der breit unseren ähnlich war. Es hatte eine Reaktionszeit unter 3 Millisekunden. (Peter Schmeichel, essen Ihr Herz heraus.) Waren Sie, zum zu versuchen, diese Geschwindigkeit mit einer herkömmlichen Videokamera, Sie zu erzielen? d-Notwendigkeit, ein zu finden, das einige Hunderte Bilder pro Sekunde notieren könnte und die Computerbelastung würden enorm sein. Aber mit Delbrück? s-sprang neuromorphic dynamischer Anblick-Sensor, der Computer, der seinen Fußball-Tormann laufen lässt, entlang an einer bloßen 4 Prozent CPU-Last.

Verglichen mit Standardvideotechniken, bieten neuromorphic Anblick-Sensoren erhöhte Geschwindigkeit, größere Dynamikwerte und Sparungen in den Computerkosten an. Infolgedessen fordernde Maschineanblick Aufgaben? wie Diagramm der Umwelt in 3-D, Spurhaltung der mehrfachen Gegenstände oder auf erkannte Tätigkeiten schnell reagieren? kann mit kHzrate auf preiswerter batteriebetriebener Hardware laufen. So würde diese Art der Ausrüstung zulassen? immer-auf? Sichteingang auf intelligenten tragbaren Geräten, der z.Z. wegen der Menge von Energie unmöglich ist, solche rechnerisch intensiven Aufgaben verbrauchen.

Eine andere natürliche Anwendung der neuromorphic Anblick-Sensoren ist in den elektronischen Netzhautimplantaten für die Wiederherstellung des Anblicks zu denen, deren Anblick zur Krankheit verloren worden ist. In der Tat halfen zwei von uns (Posch und Benosman), Pixium Anblick, eine französische Firma zu finden, die ein neuromorphic Netzhautimplantat entwickelt hat, das jetzt klinische Studien durchmacht. Anders als konkurrierende Implantate in Entwicklung, die der gegründete Rahmen sind, Pixium? s-Produktgebrauch Ereignis-gründete Probenahme, um Patienten mit Sichtanregung zu versehen. Im Augenblick sind diese Implantate in der Lage, Patienten nur eine allgemeine Fähigkeit zu geben, Licht und Formen zu empfinden. Aber die Technologie sollte in den kommenden Jahren schnell verbessern und möglicherweise ein Tag ist in der Lage, Leute anzubieten, die ihren natürlichen Anblick die Fähigkeit, Gesichter zu erkennen verloren haben? alle dank künstliche Retinae spornten durch die reale an.

Sie können eyelike Anblick-Sensoren erwarten, um vom bahnbrechenden vorhandenen heutigen Tag der Entwürfe in Formen zu entwickeln, die schließlich eine große Rolle in der medizinischer Technologie, im Automatismus und in mehr spielen. In der Tat es wouldn? t überraschen uns, wenn sie gerade so fruchtbares wie Muybridge prüften? s-hölzerne Kameras.

Ralph Etienne-Cummings und Mitverfasser Christoph Posch und Ryad Benosman arbeiten zusammen an neuromorphic Anblicksystemen. Etienne-Cummings arbeitet am Universität John Hopkins; Posch und Benosman sind am Institut des Anblicks, in Paris. Das Trio? s-gemeinsame Forschung wuchs aus ihren häufigen Sitzungen heraus an einem Sommerseminar über neuromorphic Technik im Tellurid, Colo. ? Viel unsere Zusammenarbeit kam aus diese Werkstatt heraus? sagt Etienne-Cummings. ? Und viel radfahrender Berg.?

Heraus die Gangart: Eine Reihenfolge der Rahmen, wie die von Eadweard Muybridge? s Tierbewegung Studien (wie die oben gezeigt), undersamples Teile der Szene? wie das Pferd? s, das schnell hier Bein...