Combining Diffuse Reflectance Spectroscopy with Fluorescence Lifetime imaging for tissue recognition

 

Tijdens oncologische chirurgie is het doel om de hele tumor te verwijderen en geen tumor weefsel achter te laten in de patiënt. Omdat het onderscheid maken tussen tumorweefsel en gezond weefsel lastig kan zijn is er in een deel van de patiënten (~20%) sprake van tumor positieve resectieranden. Als een resectierand positief is betekent dit dat er extra behandeling nodig is omdat achter gebleven tumor weefsel vaak opnieuw uitgroeit tot een tumor. Echter, een chirurg weet pas enkele dagen na de operatie, wanneer het resectie preparaat onder de microscoop door een patholoog bekeken is, of hij/zij succesvol is geweest in het verwijderen van de hele tumor. Er is daarom vraag naar een tool die een chirurg intra-operatief kan vertellen of de resectieranden vrij zijn van tumor weefsel. Deze tool moet real time feedback geven die gemakkelijk door de chirurg geïnterpreteerd kan worden.

Binnen onze onderzoeksgroep is veel onderzoek gedaan met Diffuse Reflectie Spectroscopie (DRS). Een DRS spectrum is een licht meting die informatie bevat over de samenstelling en compositie van weefsel en op basis daarvan kunnen weefsels gekarakteriseerd worden. Deze optische technologie kan gebruikt worden in een probe waarmee puntmetingen gedaan worden, of in een hyperspectrale camera waarmee een oppervlak ge-imaged kan worden. 

Eerder onderzoek laat zien dat het met DRS mogelijk is om tumor weefsel van gezond weefsel te onderscheiden in verschillende organen. Uit deze onderzoeken blijkt ook dat in patiënten die voorbehandeld zijn met chemotherapie of radiotherapie het onderscheid tussen gezond en tumor weefsel minder wordt omdat het gezonde weefsel gefibrotiseerd is. Om in deze patiënten groep beter onderscheid te kunnen maken tussen tumor weefsel en gezond fibrotisch weefsel willen we een tweede optische technologie toevoegen. Een mogelijkheid hiervoor is Fluorescentie Lifetime Imaging. Met deze optische technologie is het mogelijk om het verval van fluorescerende stoffen te meten. Een van die stoffen is collageen welke ook in grote mate aanwezig is in gefibrotiseerd weefsel.

 

Binnen deze onderzoekslijn willen we onderzoeken wat de mogelijkheden zijn voor het combineren van deze twee technologieën. Het is de bedoeling dat de resultaten van de optische metingen direct geprojecteerd worden op het weefsel zodat deze real-time aan de chirurg kunnen worden teruggekoppeld tijdens operaties. Daarnaast is het de bedoeling dat deze real-time optische feedback wordt verwerkt in een chirurgische robot.

Prerequisites

  • Enthusiastic Master student in electrical engineering, biomedical engineering, computer science, technical medicine or a related field
  • A good team player with excellent communication skills
  • A creative solution-finder

Duration: 10 weeks (M2) or 40 weeks (M3)

Start date: a.s.a.p.

For project details, please contact

Dr. Lisanne de Boer : Postdoc

Dr. Lisanne de Boer

Postdoc

l.d.boer@nki.nl

Using diffuse reflectance spectroscopy for tumor margin detection during breast conserving surgery

Als alternatief voor mastectomie (borstamputatie) wordt tegenwoordig vaak de keuze gemaakt voor lumpectomie (borstsparende operatie). Tijdens borstsparende operaties is het doel om (met een kleine marge) de volledige tumor uit de borst te verwijderen, waardoor het cosmetische resultaat gunstiger is voor de patiënt. Voor de chirurg is het echter tijdens de operatie vaak lastig nauwkeurig te bepalen waar de tumor zich bevindt. Daardoor wordt vaak teveel weefsel weggesneden, of blijft er tumorweefsel achter (zie onder, ~20% van de gevallen). Of er tumorweefsel is achtergebleven, blijkt pas een aantal dagen na de operatie, wanneer het weggesneden weefsel onder de microscoop door een patholoog bekeken is. Onze groep onderzoekt mogelijkheden om al tijdens de operatie (real-time) nauwkeurig te bepalen waar het tumorweefsel zich bevindt.

 

 

Binnen onze onderzoeksgroep is veel onderzoek gedaan met diffuse reflectie spectroscopie (DRS). Een DRS-spectrum is een lichtmeting die informatie bevat over de samenstelling en compositie van weefsel, en op basis daarvan kunnen weefsels gekarakteriseerd worden. Wij hebben deze techniek geïntegreerd in een chirurgische probe, waarmee tijdens operaties weefseltypes onderscheiden kunnen worden (zie onder).

 

Onze groep heeft eerder onderzoek uitgevoerd op ex vivo preparaten van borstoperaties, en aangetoond dat DRS gebruikt kan worden om onderscheid te maken tussen gezond borstweefsel en borstweefsel dat tumor bevat. Echter, daarmee is nog niet aangetoond dat de betrouwbaarheid/nauwkeurigheid en het gebruiksgemak van de technologie voldoende is om deze in de workflow van een operatie op te nemen.

 

We hebben daarom een studie opgezet om ons DRS-instrument tijdens operaties met chirurgen te testen, en de betrouwbaarheid/nauwkeurigheid en het gebruiksgemak daarvan te evalueren. De student zal tijdens deze stage (mede)-verantwoordelijk zijn voor het includeren van patiënten en het uitvoeren van deze klinische studie. Dit betekent dat de student tijdens borstsparende operaties aanwezig zal zijn, en in samenwerking met de chirurg metingen zal uitvoeren. Daarnaast wordt van de student verwacht dat deze de data analyseert en aanbevelingen doet over een vervolg onderzoek en het design van de probe.

Prerequisites

  • Enthusiastic Master student in electrical engineering, biomedical engineering, computer science, technical medicine or a related field
  • A good team player with excellent communication skills
  • A creative solution-finder

Duration: 40 weeks (M3)

Start date: a.s.a.p.

For project details, please contact

Luuk Buijs : Ph.D. Student

Luuk Buijs

Ph.D. Student

l.buijs@nki.nl

Diffuse reflectance spectroscopy for prostate cancer

 

Jaarlijks worden in Nederland meer dan 10.000 nieuwe patiënten met prostaat carcinoom gediagnosticeerd. Eén van de behandelmogelijkheden is het chirurgisch verwijderen van de prostaat doormiddel van een radicale prostatectomie. Omdat het tijdens de operatie moeilijk is onderscheid te maken tussen tumor weefsel en gezond weefsel, blijft in ongeveer 21% van de patiënten tumorweefsel achter in de patiënt. Deze tumor positieve resectieranden worden ontdekt enkele dagen na de operatie wanneer het weefsel onder de microscoop door de patholoog bekeken wordt. Als gevolg hiervan hebben patiënten extra behandeling (radiotherapie) nodig die overbodig was geweest als wanneer de positieve resectieranden tijdens de operatie ontdekt waren. De chirurg heeft daarom behoefte aan een tool die hem/haar intra-operatief kan vertellen of tumor weefsel aanwezig is op de resectieranden.

Een technologie die mogelijkerwijs in staat is om onderscheid te maken tussen gezond prostaat weefsel en prostaat carcinoom is Diffuse Reflectie Spectroscopie (DRS). Bij DRS metingen  wordt licht met golflengtes tussen de 400 en 1600nm met behulp van optische fibers die geïntegreerd zijn in een probe in weefsel gebracht. Vervolgens wordt het licht in het weefsel geabsorbeerd en verstrooid waardoor het spectrum van het licht veranderd. De mate van absorptie en verstrooiing hangen af van de samenstelling en morfologie van het weefsel. Tumor weefsel heeft vaak andere optische karakteristieken dan gezond weefsel waardoor er verschillende DRS spectra in tumor en gezond weefsel worden gemeten. Eerdere studies met DRS metingen laten zien dat het met behulp van deze technologie mogelijk is om tumor weefsel te detecteren in verschillende organen, zoals borst, colon en long.

Indien DRS in staat is om onderscheid te maken tussen gezond prostaat weefsel en tumor is het belangrijk om ook de technologie geschikt te maken voor intra-operatief gebruik. Dat betekent dat de metingen real-time geclassificeerd kunnen worden met behulp van een classificatiemodel mogelijk gebaseerd op machine learning. Omdat een groot deel van de prostatectomieen wordt uitgevoerd met behulp van een robot is het ook belangrijk dat de uiteindelijke intra-operatieve tool geïntegreerd kan worden met robotchirurgie. Tijdens de stage is de student onder andere op de operatiekamer aanwezig, verricht hij/zij de metingen en leert deze te analyseren.

De student maakt hierbij kennis met de verschillende stappen in het behandel proces: multidisciplinair overleg, diagnostiek, operatie, en pathologie uitslag.

Om te onderzoeken of het mogelijk is om DRS metingen te gebruiken voor het detecteren van tumor positieve resectieranden tijdens prostaat chirurgie is de eerste stap om te onderzoeken wat de verschillen zijn tussen DRS metingen van gezond prostaat weefsel en prostaat kanker. En vervolgens hoe deze optische verschillen gebruikt kunnen worden voor het maken van een machine learning classificatie model.

Prerequisites

  • Enthusiastic Master student in electrical engineering, biomedical engineering, computer science, technical medicine or a related field
  • A good team player with excellent communication skills
  • A creative solution-finder

Duration: 10 weeks (M2) 

Start date: a.s.a.p.

For project details, please contact

Dr. Lisanne de Boer : Postdoc

Dr. Lisanne de Boer

Postdoc

l.d.boer@nki.nl

Smart surgical instruments

Surgery forms the mainstay in the treatment for solid tumors. However, in up to 30% of the cases, surgery is inadequate either because tumor tissue is left behind erroneously or surgical resection is too extensive compromising vital structures such as nerves. So in cancer surgery, surgeons generally operate at a delicate balance between achieving radical tumor resection and preventing morbidity from too extensive surgical resection. Within this context, there is long lasting but still unmet need for a precise surgical tool that informs the surgeon on the tissue type at the tip of his instrument and in this way can guide the surgical procedure.

To tackle these shortcomings we propose to employ an innovative approach of image-guided surgery which allows real-time intra-operative tissue recognition during surgery. To this end, we will combine the unique characteristics of ultrasound imaging (US) with the excellent tissue sensing characteristics of optical spectroscopy (DRS). The two techniques, US and DRS, both have proven track records in the field of cancer diagnosis. However, both have critical limitations. DRS has excellent performance with respect to tissue diagnosis, distinguishing cancer from healthy tissues. Because DRS is a point measurement that samples small tissue volumes close to the measurement probe, its depth sensitivity is limited and thus the possibility to look deeper into the surgical resection plane. Ultrasound on the other hand, has more than sufficient sampling depth and resolution, but, cannot resolve cancer directly from the imaging architecture. Our approach will be to strategically combine these two techniques and using the best of two worlds within one smart device.

  • DRS measurements on resected specimens
  • Layers segmentation and width measurement on acquired ultrasound images
  • Matching DRS measurements with histopathology
  • Analyzing DRS measurements using machine learning techniques for the detection of multi-layer structures and estimation of layers thickness

Prerequisites

  • Enthusiastic Master student in electrical engineering, biomedical engineering, computer science, technical medicine or a related field
  • A good team player with excellent communication skills
  • A creative solution-finder

Duration: 10 weeks (M2) or 40 weeks (M3)

Start date: a.s.a.p.

For project details, please contact

Dr. Behdad Dasht Bozorg : Postdoc

Dr. Behdad Dasht Bozorg

Postdoc

b.dasht.bozorg@nki.nl

Combining several optical imaging technologies for tumor detection during surgery

Tijdens oncologische chirurgie is het voor de chirurg vaak lastig te bepalen waar de tumor zich bevindt en hoe deze volledig kan worden verwijderd. In ongeveer 20% van de operaties is er sprake van positieve resectie marges, wat zorgt voor een verhoogde kans op een recidief. Op dit moment worden de resectie marges door de patholoog beoordeeld, wat vaak pas enkele dagen na de operatie gedaan kan worden. In onze onderzoeksgroep wordt gekeken naar de mogelijkheden om de chirurg al tijdens de operatie feedback te geven over de locatie van tumor en de radicaliteit van de resectie.

Binnen onze onderzoeksgroep is al veel onderzoek gedaan naar de mogelijkheid om tumor van gezond te onderscheiden met diffuse reflectie spectroscopie en hyperspectrale beeldvorming. Vanwege de veelbelovende resultaten hebben we een opstelling gebouwd die uiteindelijk goed naar een in vivo workflow kan worden vertaald. In deze opstelling zijn een aantal verschillende camera’s aanwezig. Van iedere camera moet nu worden onderzocht voor welk tumor type deze het beste ingezet kan gaan worden.  

In dit project zullen we eerst kijken naar het gebruik van een multi spectrale camera in patienten met colorectale tumoren en peritonitis carcinomatosis (ex vivo). Daarnaast gaan we kijken naar het gebruik van photoplethysmografie (PPG) in de weefselperfusie van darm anastomosen, lever resecties en vrije lap reconstructies in het hoofd hals gebied (in vivo). De student zal in beide gevallen zowel bij de acquisitie als de analyse (image processing/machine learning) van deze beeldvorming betrokken zijn.

Prerequisites

  • Enthusiastic Master student in electrical engineering, biomedical engineering, computer science, technical medicine or a related field
  • A good team player with excellent communication skills
  • A creative solution-finder

Duration: 40 weeks (M3)

Start date: a.s.a.p.

For project details, please contact

Susan Brouwer de Koning : Ph.D. Student

Susan Brouwer de Koning

Ph.D. Student

s.brouwerdekoning@nki.nl

Mixed reality projection mapping using Kinect

During surgery tumor tissue is often difficult to identify. This may result in either too close tumor resections with a positive resection margin or too wide resections with increased morbidity or poor cosmetic outcome.  Within this research line we aim to tackle the described shortcomings in cancer surgery by the application of image guidance using projection mapping techniques.

Recently we have built up a setup the back projection of analyzed Hyperspectral (HSI) images of the resected specimen to demonstrate the positive resection margin as real-time feedback during the surgery.

The setup is made of a Kinect v2 sensor for the perception of 3D depth and a projector for projection mapping of the analyzed data back to the specimen.   The developed software in our group is capable of  3D shape reconstruction and also camera-projector calibration.

In the current phase of the project, we are moving from a static situation to a more dynamic situation.  The main goal is to be able, in real-time,  back-project the position of relevant of structures (vessels and tumors)  or analyze HSI images (tumor tissue) on the organ taking into account the deformations and tissue movement.

The main challenges of this project are visual tracking, 3D motion compensation and deformation estimation.

Prerequisites

  • Enthusiastic Master student in electrical engineering, biomedical engineering, computer science, technical medicine or a related field
  • A good team player with excellent communication skills
  • A creative solution-finder

Duration: 10 weeks (M2) or 40 weeks (M3)

Start date: a.s.a.p.

For project details, please contact

Dr. Behdad Dasht Bozorg : Postdoc

Dr. Behdad Dasht Bozorg

Postdoc

b.dasht.bozorg@nki.nl

Tumor detection using deep learning and Hyperspectral imaging

Complete tumor removal during breast-conserving surgery remains challenging due to the lack of optimal intraoperative margin assessment techniques. Therefore, in up to 37% of the women undergoing breast-conserving surgery, tumor is found in the resection margin of the resected specimen. To tackle this problem, recently we have developed a system which uses broadband hyperspectral imaging and a deep neural network to discriminate tumor from healthy tissue.

Hyperspectral imaging, or imaging spectroscopy, combines the power of digital imaging and spectroscopy. For each pixel in an image, a hyperspectral camera acquires the light intensity for a large number of contiguous spectral bands. Every pixel in the image thus contains a continuous spectrum and can be used to characterize the objects (tissues) with great precision and detail. Hyperspectral images obviously provide much more detailed information about the scene than a normal color camera, which only acquires three different spectral channels corresponding to the visual primary colors red, green and blue. Hence, hyperspectral imaging leads to a vastly improved ability to classify the objects (tissue) based on their spectral properties.

Recently deep learning methods have achieved state-of-the-art results on various applications such as face detection, machine translation, self-driving cars and also in biomedical applications. The use of AI and the deep-learning subtype, in particular, has been enabled by the used of big data along with high-performance GPU cards.

The aim of this study is to develop a deep convolutional network for the classification of tissue in hyperspectral images with high sensitivity and high specificity. A hyperspectral camera is available in our group as well as two GPU servers each one with 4 Nvidia GTX 1080 TI GPU cards.

Project Goal

  • Improving the developed neural network for the detection of breast tumor using HS imaging on tissue slices.
  • To investigate the development of a real-time machine learning/deep learning technique for the analysis of HSI images of fresh lumpectomy specimen as direct feedback to the surgeon during surgery.

Prerequisites

  • Enthusiastic Master student in electrical engineering, biomedical engineering, computer science, Technical Medicine or a related field
  • Interest in the intersection of machine learning and deep learning
  • Understanding of basic machine learning concepts, image analysis and signal processing
  • Programming experiences in MATLAB or Python
  • A good team player with excellent communication skills
  • A creative solution-finder

Duration: 10 weeks (M2) or 9 months (M3/BME/ME/MWT)

Start date: a.s.a.p.

For project details, please contact

Dr. Behdad Dasht Bozorg : Postdoc

Dr. Behdad Dasht Bozorg

Postdoc

b.dasht.bozorg@nki.nl