En af de umiddelbare udfordringer med automatisk analyse af haller er de etiske og juridiske aspekter forbundet med at videooptage brugere i offentlige rum. For at imødekomme denne udfordring er hele projektet bygget op omkring termiske kameraer. Pointen med sådanne kameraer er, at identitet IKKE kan genkendes, se afsnittet “Hvad er et termisk kamera?” nederst på siden.
One immediate challenge with automatic analysis of sports arenas are the ethical and legal aspects when introducing video recorders in the public domain. In order to overcome that challenge this project is based on the use of thermal cameras. With thermal cameras it is not possible to identify recorded persons. Read more about thermal cameras in the section “What is a thermal camera” at the bottom of the page.
Forskningen omhandler primært robust detektion af mennesker og estimering af antal, genkendelse af typiske sportsgrene, samt tracking af sportsudøverne. Det er dokumenteret i videnskabelige artikler, se publikationslisten: Publikationer.
Billederne fra de termiske kameraer, se figur 1, vil analyseres automatisk vha. billedbehandling, som først vil finde alle varme objekter, se figur 2 og hernæst vurdere hvilke der er mennesker, se figur 3. På den måde tælles antallet af personer samt deres position. For at give en bedre forståelse af de analyserede data udvikles en matematisk model der kan relatere de termiske kamerabilleder, figur 4, til et billede af hallens gulv set ovenfra, se figur 5. Efter antallet og positionerne er fundet, bygges yderligere analyser ovenpå som har til formål at levere endnu mere præcise informationer omkring hvad der foregår i hallen.
The research primarily focuses on detection and robust counting of people, classification of sports types and tracking of sports players. The work is published in scientific papers, see the list of publications: Publications.
Images captured by the thermal cameras, see figure 1, will be analysed automatically by using image processing that first identifies all hot objects, see figure 2, and then separates humans from noise, see figure 3. This way the number of persons can be counted and their positions recorded. To better visualise the recorded data a function is found that maps the found persons image coordinates, see figure 4, to their poisition on the court, see figure 5. Further analysis will extend this base functionality in order to give a more concise information about the utilisation of the arena.
Aktivitetstype
Ved at summere de registrerede positioner over tid, dannes der “aftryk” af observerede aktivitet. Disse aftryk kan bruges til automatisk at skelne mellem forskellige sportsgrene.
Type of activity
By summarising the detected position over time, “prints” can be made of the observed activity. These prints can be used to distinguish different kinds of sport types.
De forskellige sportsgrene kan også genkendes ved at analysere bevægelsen af hver person, f.eks. hastighed og største afstand tilbagelagt.
Sports types can also be classified by analysing the motion of each person, e.g., speed and maximum distance covered.
Aktivitetsniveau
I samarbejde med idrætsforskere er der blevet udviklet et system, der automatisk udregner aktivitetsniveauet. Dvs. et system der automatisk kan omregne den bevægelse der måles via kamera til energiomsætning i kroppen.
Activity level
In collaboration with researchers from sports science we have developed a system that automatically estimates the activity level of a person. The system can translate the motion captured by the camera into an energy consumption of the body.
Hvad er et termisk kamera?
Et termisk kamera fungerer ved at det måler varmestråling som ligger i det infrarøde spektrum. Alle objekter med en temperatur over det absolutte nulpunkt afgiver varmestråling og jo højere temperatur jo højere intensitet. Derfor vil varme objekter, såsom mennesker, træde frem ved en koldere baggrund. Figur 6 og 7 viser samme scene taget med et almindeligt kamera og et termisk kamera. I figur 7 træder personerne tydeligt frem uanset baggrunden, mens personen til højre nemt kan overses i figur 6.
What is a thermal camera?
A thermal camera measures thermal radiation which lies in the infrared spectrum. All objects with a temperature above absolute zero emit thermal radiation and the higher the temperature, the higer the intensity. Due to this, varm objects such as humans, will be easy detectable in front of a colder background. Figure 6 and 7 shows the same scene captured by a regular and a thermal camera. In figure 7 all persons are easy detected as white blobs on a grey background whereas in figure 6 the persons are more disguised in the changing background.
