Abstract: 

The present invention discloses a method of multimodal spectral imaging that utilizes a knowledge distillation framework to implement a new technique for the classification of unknown samples called Multimodal Spectral Knowledge Distillation (MSKD). In general, it consists of a processing pipeline and its algorithm implementation that presents an innovative approach to sensor fusion in the context of spectral imaging.

It uses one of the sensing modalities as an autonomous supervisor of the others, allowing to achieve higher performances increasing the sizes of the training datasets.

Background: 

Spectral imaging is widely used in industrial processes like material sorting and metallurgy process control using LIBS, and food safety, quality control, and mineral exploration using HSI. However, these methods have limitations such as inconsistent results and a lack of interpretability. Particularly, developing reliable solutions and overcoming the complex nature of hyperspectral data calls for innovative approaches to feature extraction and data interpretation.

Multimodal spectral imaging solutions combine information from different sources to enhance single modality systems. But finding effective solutions is challenging due to the need for labeled training data, which is currently highly dependent on manual labelling, and hinders its overall performance. This gap creates an opportunity for developing an automatic and effective method for real-time mineral identification.

Benefits: 

SpectralKD is a new approach to collaborative sensing that uses a multimodal knowledge distillation technique to enhance the performance of a data-driven model. It does this by using a two-step autonomous supervision framework that trains an unsupervised classification model using one spectroscopy technique to provide reliable labels (teacher). Then, the second technique (student) is trained in a supervised manner using the reliable labels from the first step, resulting in improved performance. SpectralKD capitalizes on the multimodality through the teacher technique and overcomes the challenges of finding labeled training data.

The technology provides an automatic and effective way for real-time mineral identification, which can bring significant benefits to multiple industry sectors. Among its main benefits are: Automation - allows the design of autonomous data-driven solutions for mineral identification, enabling fast decision making in the operational scenarios; Cost-Efficiency - Fast decision-making in operational scenarios independent of intensive and tedious manual labeling; Customizable - able to construct/teach training datasets for specific problems in a time efficient manner; Flexible - can be used with different sets of teacher/student spectral techniques; Improves accuracy and interpretability of the "student" technique - using teacher techniques to generate trustworthy labels for the student and increase performance and transparency; Sustainability - this approach provides a way of maintaining the performance of the knowledge distillation solutions over the time without expert knowledge.

Potential comercial use/applications: 

In process control in cork industry and wood recycling; Environmental monitoring and resource management using remote sensing; Mineral identification in mining operations such as prospection and exploration;

Co-owners: 
University of Porto INESC TEC

Vencedores BIP PROOF 2025/2026

Mais informações sobre os vencedores desta edição podem ser encontradas aqui.

Projetos vencedores

Um sistema baseado em dados específicos de cada grávida, criado para prever e prevenir lesões maternas relacionadas com o parto apoiando a tomada de decisões médicas.

Instituto de Ciência e Inovação em Engenharia Mecânica e Engenharia Industrial (INEGI)

Uma opção terapêutica para tratar complicações gastrointestinais, relacionadas com a diabetes, que explora a reutilização de medicamentos já conhecidos e aprovados.

Instituto de Ciências Biomédicas Abel Salazar (ICBAS)

Uma argamassa inovadora, sustentável e versátil, para fabrico digital (impressão 3D) que permite criar peças ou componentes com menor impacto ambiental e maior liberdade de design.

Faculdade de Engenharia da Universidade do Porto (FEUP)

Uma terapia fisiológica, minimamente invasiva e individualizada, que tem como objetivo revolucionar o tratamento da hérnia discal apostando na modulação imunitária por design.i3S 

Instituto de Investigação e Inovação em Saúde (i3S)

Um programa de intervenção psicológica digital para a melhoria da saúde mental, sexual e da qualidade de vida de sobreviventes de cancro de próstata.

Faculdade de Psicologia e Ciências da Educação da Universidade do Porto (FPCEUP)

Uma solução limpa, segura e eficiente para a produção de hidrogénio e eletricidade diretamente em embarcações marítimas.

Faculdade de Engenharia da Universidade do Porto (FEUP)

Uma alternativa aos atuais métodos de desinfeção nos sistemas de água que é segura, sustentável, sem consumo de energia e sem químicos nocivos.

Faculdade de Engenharia da Universidade do Porto (FEUP)

Um modelo inovador que reproduz de forma realista a inflamação intestinal humana, permitindo testar terapias de forma mais preditiva e personalizada.

i3S - Instituto de Investigação e Inovação em Saúde (i3S)

Uma tecnologia farmacológica inovadora para combater um dos maiores desafios da oncologia moderna: o cancro da mama triplo negativo, uma forma agressiva e resistente da doença.

Rede de Química e Tecnologia (REQUIMTE)

Um biomarcador inovador na encefalopatia associada à sépsis nenatal, com utilidade clínica e capacidade de apoiar um diagnóstico mais precoce.

Instituto de Ciências Biomédicas Abel Salazar (ICBAS)

Um sistema inovador que, recorrendo a uma cinta confortável com sensores, permite monitorizar movimentos fetais em casa, durante o período da gravidez.

Instituto de Engenharia de Sistemas e Computadores, Tecnologia e Ciência (INESC TEC)