J"ignorais qu'on pouvait utiliser l'opérateur ! dans les regex bash.
Du coup, pour supprimer tout ce qui n'est pas odt ou mp3 dans un dossier:

rm !(.odt|.mp3)