Co-factorisation douce en matrices non-négatives. Application au regroupement multimodal de locuteurs

Résumé :

Nous présentons ici une nouvelle méthode pour une co-factorisation bi-modale en matrices non-négatives. Cette méthode est adaptée aux situations où deux modalités sont liées par une même information sous-jacente. Elle permet une co-factorisation dite douce, qui prend en compte la relation entre les modalités tout en évitant l’hypothèse forte d’un même facteur en commun. Cette méthode n’impose pas que les données associées à chaque modalité aient la même dimension ou soient exprimées dans un même espace. La co-factorisation est obtenue par résolution d’un problème d’optimisation, via une méthode de majoration-minimisation ; puis une application au regroupement multimodal de locuteurs est présentée, où la co-factorisation douce sert à exploiter la corrélation entre les pistes audio et vidéo dans des débats télévisés.

Mots-clés : NMF multimodal
Complete list of metadatas

https://hal.telecom-paristech.fr/hal-02286798
Contributor : Telecomparis Hal <>
Submitted on : Friday, September 13, 2019 - 4:12:23 PM
Last modification on : Thursday, October 17, 2019 - 12:37:02 PM

Identifiers

  • HAL Id : hal-02286798, version 1

Citation

Nicolas Seichepine, Slim Essid, Cédric Févotte, Olivier Cappé. Co-factorisation douce en matrices non-négatives. Application au regroupement multimodal de locuteurs. GRETSI, Sep 2013, Brest, France. ⟨hal-02286798⟩

Share

Metrics

Record views

6