Natural Feature Tracking in JavaScript

Abstract

Computer Vision-basiertes Natural Feature Tracking ist ein Kernbestandteil moderner Augmented Reality Anwendungen. Dennoch setzt webbasierte Augmented Reality typischerweise auf ortungs- oder markerbasierte Ansätze um das Problem der Haltungs- und Stellungsschätzung zu lösen.
In unserer Forschung untersuchten wir Möglichkeiten effizientes Natural Feature Tracking auf Standard Webbrowser zu bringen.

Wir haben eine effiziente Natural Feature Tracking Pipeline für Standard Web Browser basierend auf HTML5 und WebAssembly implementiert und untersucht. Unser System kann Bildziele mit Echtzeit Frameraten auf Tablet PCs (mit bis zu 60 Hz) und smartphones (bis zu 25 Hz) verfolgen.

Eine Live-Demonstration dieses Systems finden Sie hier. Damit die Live-Demonstration funktioniert, benötigen sie ein ausgedrucktes Bild dieses Ziels.


In früheren Arbeiten entwickelten wir ein webbasiertes Augmented Reality System, welches rein auf JavaScript, WebGL und HTML5 basiert. Im Kern unseres Systems ist eine effiziente Natural Feature Tracking Pipeline, implementiert einzig in Javascript. Wir demonstrierten Echtzeit Frameraten auf Desktop Computern und interaktive Frameraten auf Smartphones.

Medien



Veröffentlichungen

  • Fabian Göttl, Philipp Gagel & Jens Grubert. Efficient Pose Tracking from Natural Features in Standard Web Browsers. In Proceedings of the 23rd International ACM Conference on 3D Web Technology (Web3D). 20-22 June 2018, Poznań, Poland (to appear). arxiv preprint | doi
  • Christoph Oberhofer, Jens Grubert & Gerhard Reitmayr. Natural Feature Tracking in JavaScript. In Proceedings of the IEEE Virtual Reality Conference 2012 (IEEE VR 2012). March 04-08, 2012, Orange County, California, USA (pp. 111-112). pdf | poster