Harald Hoppe

PROJECTOR-BASED AUGMENTED REALITY FOR INTUITIVE INTRAOPERATIVE GUIDANCE IN IMAGE-GUIDED 3D INTERSTITIAL BRACHYTHERAPY

PURPOSE The aim of this study is to implement augmented reality in real-time image-guided interstitial brachytherapy to allow an intuitive real-time intraoperative orientation. METHODS AND MATERIALS The developed system consists of a common video projector, two high-resolution charge coupled device cameras, and an off-the-shelf notebook. The projector was used as a scanning device by projecting coded-light patterns to register the patient and superimpose the operating field with planning data and additional information in arbitrary colors. Subsequent movements of the nonfixed patient were detected by means of stereoscopically tracking passive markers attached to the patient. RESULTS In a first clinical study, we evaluated the whole process chain from image acquisition to data projection and determined overall accuracy with 10 patients undergoing implantation. The described method enabled the surgeon to visualize planning data on top of any preoperatively segmented and triangulated surface (skin) with direct line of sight during the operation. Furthermore, the tracking system allowed dynamic adjustment of the data to the patients current position and therefore eliminated the need for rigid fixation. Because of soft-part displacement, we obtained an average deviation of 1.1 mm by moving the patient, whereas changing the projectors position resulted in an average deviation of 0.9 mm. Mean deviation of all needles of an implant was 1.4 mm (range, 0.3-2.7 mm). CONCLUSIONS The developed low-cost augmented-reality system proved to be accurate and feasible in interstitial brachytherapy. The system meets clinical demands and enables intuitive real-time intraoperative orientation and monitoring of needle implantation.

Augmented Reality in the Operating Theatre of the Future

While an increasing number of operation planning systems enable surgeons to preoperatively define and plan complex surgical interventions, providing these planning data intraoperatively in a reasonable way is still a challenging task. We have developed a new system using projector based augmented reality for the intraoperative visualization of preoperatively defined surgical planning data. Projector based augmented reality in medical applications represents a new field of research and yet shows results that are superior to techniques based on head mounted displays. The projector is not only used for visualization, but also for initial registration of the patient whose further movements are continuously tracked and taken into account for projection.

A clinical prototype system for projector-based augmented reality: calibration and projection methods

In the last two years, the Institute for Process Control and Robotics has developed a prototype system for projector-based augmented reality in cranio-maxillo-facial surgery. The system essentially consists of two CCD cameras and a common video projector. These are used to track the patient, registrate his position (coded light) and to directly project the preoperatively defined planning data onto his surface.

Nicht-modellbasierte Kalibrierung von Kameras mit Monitoren

Die Verwendung von Kameras als Messmittel fur medizinische Anwendungen setzt deren prazise Kalibrierung voraus. Gangige Verfahren modellieren die Abbildungseigenschaften einer Kamera mittels perspektivischer Projektion und parametrisierter Funktionen zur Beschreibung von Linsenverzerrung. In den Randbereichen des Kamerabildes sind diese Modelle oft unzureichend. Auserdem bedingt die Verwendung starrer Kalibriermuster eine in der Regel kleine Anzahl an nicht gleichmasig verteilten Punktkorrespondenzen zur Bestimmung der Modellparameter. In der vorliegenden Arbeit wird ein vollkommen neues und nicht auf Modellen basierendes Kalibrierverfahren vorgestellt, bei dem jedes Kamerapixel unabhangig von jedem anderen kalibriert wird.

Ergebnisse eines neuen Kalibrier-Algorithmus für Augmented-Reality-Systeme mit hohen Genauigkeits-Anforderungen

Bei dem Einsatz von Systemen der Erweiterten Realitat im klinischen Bereich ist eine hohe Genauigkeit an die Einblendungen gefordert, wenn Schnittlinien, Tumore oder Risikostrukturen realitatsgetreu auf den Patienten projiziert werden sollen. Fur die Realisierung solcher Projektionen mit diesem Anforderungsprofil ist eine genaue Kalibrierung der Projektionsgerate sehr wichtig. Die Ergebnisse eines neuen Kalibrier-Algorithmus werden im Folgenden anhand von See-through-Bildern eines Virtual-Retinal-Display gezeigt.

Projektorbasierte erweiterte Realität in der interstitiellen Brachytherapy

Operationsplanungssysteme bieten die Moglichkeit der Planung von brachytherapeutischen Eingriffen vor der Nadelimplantation. Dies erlaubt es eine tumorwirksame Dosis im Zielvolumen zu gewahrleisten unter Berucksichtigung einer optimierten Nadelgeometrie zum Erreichen einer homogenen Dosisverteilung und unter Berucksichtigung von umgebenden Risikostrukturen. Der entscheidende Schritt von der Planung zur intraoperativen Umsetzung bleibt jedoch die sinnvolle Bereitstellung der praoperativ gewonnenen Daten ohne die erzielte Genauigkeit wieder ganz oder teilweise einzubusen. Wahrend die Verwendung von Navigationssystemen zwar die Moglichkeit eroffnet chirurgische Gerate mit den entsprechenden Planungsdaten am Monitor zu uberlagern ist eine Methode die Planungsdaten unmittelbar im Operationsfeld sichtbar zu machen sinnvoll. Das vorgestellte System ermoglicht die genaue Referenzierung der aktuellen Patientenlage mit den Planungsdaten und die Visualisierung von Planungsdaten auf dem Patienten (Operationsplan, Tumorlage und Form, Risikostrukturen) bei geringster Beeintrachtigung des Brachytherapeuten sowie des Implantationsablaufes. Das vorgestellte System ermoglicht eine Verbesserung der bestehenden brachytherapeutischen Behandlungen und kann eventuell neue Therapiemoglichkeiten erschliesen.

Ein neues und leicht zu implementierendes Modell zur präzisen Kalibration von Kameras und Videoprojektoren

Am Institut fur Prozessrechentechnik, Automation und Robotik der Universitat Karlsruhe (TH) wurde in den letzten beiden Jahren ein System zur Erzeugung projektorbasierter Erweiterter Realitaten entwickelt. Dieses besteht aus einem PC, zwei CCD-Kameras und einem handelsublichen Videoprojektor, der sowohl zur Registrierung des Patienten (kodiertes Licht), als auch zur Projektion chirurgischer Planungsdaten unmittelbar auf den Patienten dient. Wichtigste Voraussetzung fur prazise Registrierung, Projektion und Nachverfolgung des Patienten ist ein exaktes Verfahren zur Kalibration von Videoprojektor und Kameras. Wir haben hierfur ein neues, flexibles und sehr leicht zu implementierendes Kalibrationsmodell entwickelt, das sowohl fur Kameras, als auch fur Videoprojektoren Anwendung findet und bessere Ergebnisse liefert, als das von Tsai vorgeschlagene.

Daily patient set-up control in radiation therapy by structural light projection.

Robert Krempien , Sascha Daeuber, Harald Hoppe, Martina Treiber, Juergen Debus, Wolfgang Harms, Jakob Brief , Joerg Raczkowsky, Heinz Woern, Michael Wannenmacher Department of Clinical Radiology, University of Heidelberg, Im Neuenheimer Feld 400, 69120 Heidelberg, Germany Department Cranio-Maxillo-Facial Surgery, University of Heidelberg, Heidelberg, Germany Institute of Process Control and Robotics, University of Karlsruhe, Karlsruhe, Germany

Projektorbasierte Erweiterte Realität in der Chirurgie

Die Planung komplexer chirurgischer Eingriffe mit hohen Genauigkeitsanforderungen wird zunehmend mit Operationsplanungssystemen durchgefuhrt. Im vorliegenden Beitrag wird ein System vorgestellt, welches die praoperativ festgelegten Planungsdaten mit einem handelsublichen Videoprojektor direkt auf dem Patienten sichtbar macht. Dabei kann sowohl auf Markerschrauben zur Registrierung als auch auf das feste Einspannen des Patienten verzichtet werden, wobei dessen Bewegungen uber aufgeklebte Marker nachverfolgt werden. Die Genauigkeit der Projektion betragt derzeit ± 1 mm ohne und ± 3 mm mit Nachverfolgung der Patientenlage, wahrend der Operationsplan momentan mit 0.5 Hz nachgefuhrt werden kann. Das System ermoglicht die Visualisierung von Planungsdaten bei geringster Beeintrachtigung des Chirurgen sowie des gewohnlichen Operationsablaufes.

Operationsplanung in der kranio-fazialen Chirurgie

Computer- und robotergestutzte Systeme zur Unterstutzung chirurgischer Eingriffe gelangten innerhalb der letzten Jahre zur Praxisreife. Im Allgemeinen stellen diese Systeme Methoden zur praoperativen Planung eines Eingriffs [1,2] und zu dessen Durchfuhrung mittels eines autonomen Robotersystems [3,4] zur Verfugung. Aufgrund der grundsatzlichen Eingeschranktheit eines Roboters komplexe Arbeitsschritte zu ubernehmen, fallen jedoch auch bei roboterunterstutzten Eingriffen Arbeitsschritte an, die der Chirurg zwar computerunterstutzt planen kann, die er aber manuell durchfuhren muss. In der Mund-Kiefer-Gesichts-Chirurgie werden osteotomierte Knochensegmente manuell in eine von einem Operationsplanungssystem vorgegebene Ziel-Form modelliert. Diese Arbeit stellt ein System vor, das mit Hilfe eines Oberflachenscanners manuelle Knochendeformationen intraoperativ validiert.