Projektet är ett samarbete mellan VR-labb, Psykologiska instutionen Designhögskolan och Datavetenskapliga Instutionen.

Att skapa en applikation som visa peak-data från olika PET studier på ett för forskaren överskådligt och pedagogiskt sätt.
Det skall gå att byta studie, jämföra studier med varandra och få information om en viss "peak" genom att klicka på den.
Hjärnan skall kunna studeras från alla håll. Det skall gå att ändra hjärnans utseende: genomskinlighet, färg och anatomisk detaljrikedom.

Kognitiv neurovetenskap är ett tvärvetenskapligt forskningsområde som handlar om att förstå hur hjärnan 'producerar' kognitiva funktioner som tänkande, minne och uppmärksamhet. Ett genombrott inom området är användandet av moderna tekniker som kan avbilda den mänskliga hjärnan i arbete. En sådan teknik heter positronemissions-tomografi (PET). Denna teknik studerar hjärnaktivitet genom att mäta blodflöde, som är relaterat till grad av neural aktivitet. Blodflödesökningar och minskningar i specifika regioner, relaterade till en kognitiv aktivitet som tex ansiktsigenkänning, kan beskrivas genom att visualisera data i en standardiserad hjärnatlas.
För att på bästa sätt förmedla resultaten till konsumenter av forskningen (forskningskollegor, studenter, intresserad allmänhet) så skulle det vara av värde om visualiseringen av data kan förmedla den tredimensionella karaktären av data. Först då kan man till fullo uppskatta det nätverk av distribuerade hjärnregioner som är involverade i att mediera kognitiva funktioner.

Det existerar idag en datoriserad hjärnatlas som har samrna dimensioner som den hjärnatlas som används i flertalet internationella PET-laboratorier (Talairach & Tournoux, 1988). Med denna atlas som grund kan man skapa ett verktyg för att visualisera blodflödesdata från PET studier. Visualisering av hjärnaktiveringsdata har stor potential som en tillämpning av grafikdatorer, och en intressant frarntida utvidgning av projektet är att inkludera data som har realtidsupplösning. Det bör också påpekas att sofistikerad visualisering är inte endast av stort värde för förmedling av befintliga resultat, utan genom att integrera data från flera separata studier så kan hypoteser genereras för framtida studier.

Anledningen till förändringen av den tidigare projektbeskrivningen är att förutsättningarna för projektet har förändrats. Tidigare var utvecklingen planerad till att baseras på ett klassbibliotek från ISS i Singapore kallat BrixMed. Detta klassbibliotek var utvecklat med tanke på medicinska tillämpningar där 3D visualisering av MRI-röntgen var ett behov. BrixMed har optimerats med tanke på att bygga upp 3D-texturmodeller av dessa MRI-bilder. Programmen utvecklade i BrixMed används effektivast vid en sk. WorkBench där man "sträcker in" händerna i en 3D-dimensionell miljö i stereo. För exempelvis hjärnkirurger är detta ett fantastiskt verktyg där kopplingen hand/virtuellt verktyg (borr) är verklighetstrogen.

Tanken var att i stället för MRI-bilder använda sig av de högupplösande bilderna som projektet Visable Human har framställt. Detta skulle kunna leda till en 3D-textur modell av bättre kvalitet än den som MRI-bilder kan ge.

Problemen med att använda WorkBench och BrixMed i detta projekt är följande:

PET visualiserings projektet kan alltså ses i två steg. I det första steget skapar vi en

applikation som direkt är användbar i forskningen. Vi skall, utifrån Lars Nybergs behov och önskemål, specificera precis hur applikationen skall se ut och fungera. Applikationen skapas sedan med hjälp av OpenGL Optimizer, ett C++ bibliotek som hanterar visualisering på ett effektivt sätt. Applikationen blir då också portabel till Silicon Graphics/Iris, PC/NT samt Sun/Solaris. Det som avgör den slutliga plattformen är prestanda.

Projektet kan dock även ses som en förstudie. Förhoppningsvis ser vi, när vi har en

fungerande applikation, hur vi kan gå vidare. Hur kan t ex PET kombineras med andra datatyper. Kan vi använda visualiseringsmodellen för andra medicinska data, t ex MRI. Kanske är applikationen en bra "infrastruktur" för visualisering av funktionell-MRI?

Det första problemet att ta reda på är: Hur skall datat egentligen presenteras? Hur skall hjärnan se ut? Skall det vara en geleklump med peakdata som lyser igenom? Skall det vara en 'tri-plan-view'? Hur skall genomskinlighet definieras. Hur skall peakdata synas? Hur skall färgerna väljas? Hur stor skall den anatomiska detaljrikedomen vara? Vilka delar av hjärnan skall synas? Finns det möjligheter att snitta hjärnan? Ingen av frågorna har självklara svar, bara experiment kan ge vägledning.

I första steget är indata enkelt att definiera. Varje Peak i en studie representeras av en X, Y, Z koordinat enligt TT systemet. För varje punkt finns det några attribut eller etiketter som, vilken studie representerar punkten, vilken kognitiv funktion är aktiverad.
Data kan plockas in i applikationen med en vanlig fil, producerad i Excel eller liknande.
Här finns några frågor. Skall indata översättas till ett kluster? (en punkt blir förmodligen för litet för att synas). Kanske är det mer lämpligt att indata definieras i kluster ? Vi kanske bör ange en mängd för varje peak.

Vad som skall presenteras på skärmen vet vi inte ännu.

 

 

Valet av plattform kommer att ske under de inledande veckorna av projektet. Eftersom

prestanda kommer att vara den mest avgörande faktorn kan det bli så att projektet inleds under NT för att senare övergå till en Silicon Graphics-miljö. Utvecklingsmiljön under NT är klart vida överlägsen den som för närvarande finns hos IRIS och jag kommer därför att försöka utveckla så mycket som möjligt under NT.

De kunskaper som behövs för att inleda projektet är ingående kunskaper i Grafik och Visualisering. Under de första fyra veckorna (i september) ägnade jag mig framförallt att lära mig BrixMed, vilket nu har visat sig vara onödigt. Därför kommer jag att under inläsningsperioden framför allt att ägna mig åt att implementera applikationer i Optimizer under NT.

När modellen av hjärnan har anlänt kommer jag att lära mig att med hjälp av Optimizer visualisera hjärnan men hjälp av stubb/test program.

Användargränssnitt, algoritmer och klass-konstruktion kommer att ta en stor del av tiden och kommer givetvis att göras parallellt med utvecklingen. En dialog med Lars Nyberg angående användargränssnittet kommer att behövas.

Skiljer sig nog i detta fall inte speciellt mycket från föregående punkt.

Rapportskrivningen kommer att fortgå under hela projektet, men kommer att färdigställas under den senare delen av projektet.

De mänskliga resurser förutom mig själv som finns inom projektet är:

Projektet kommer att ha en platt organisation med fyra deltagare som träffas med jämna Mellanrum på initiativ av mig själv. Deltagarna är: Anders Backman, Peter Jacobsson, Tomer Shalit samt Lars Nyberg.