Si vous n'êtes pas un spécialiste des regex (beaucoup d'entre nous ne le sont pas !), je trouve qu'il est plus simple de séparer la suppression du texte inutile et des parenthèses, à condition que votre requête le supporte.
La question semble indiquer que vous souhaitez uniquement supprimer les parenthèses, vous pouvez donc utiliser :
gsub(paste(c("[(]", "[)]"), collapse = "|"), "", string)
Cela se traduit par la chaîne sans parenthèses : "logM"
Si vous souhaitez également supprimer le "M"
gsub(paste(c("M", "[(]", "[)]"), collapse = "|"), "", string)
Cela donne le résultat "log"