La solution de Ciro concernant un fond SVG Data URI contenant le texte est très intelligente.
Cependant, cela ne fonctionnera pas dans IE si vous ajoutez simplement la source SVG simple à l'URI des données.
Pour contourner ce problème et faire en sorte que cela fonctionne dans IE9 et les versions ultérieures, encodez le SVG en base64. C'est un outil formidable.
Alors ça :
background:url('data:image/svg+xml;utf8,<svg xmlns="http://www.w3.org/2000/svg"><text x="5%" y="5%" font-size="30" fill="red">I love SVG!</text></svg>');
Devient ceci :
background:url('data:image/svg+xml;base64,PHN2ZyB4bWxucz0iaHR0cDovL3d3dy53My5vcmcvMjAwMC9zdmciPjx0ZXh0IHg9IjUlIiB5PSI1JSIgZm9udC1zaXplPSIzMCIgZmlsbD0icmVkIj5JIGxvdmUgU1ZHITwvdGV4dD48L3N2Zz4=');
Testé et cela fonctionne dans IE9-10-11, WebKit (Chrome 37, Opera 23) et Gecko (Firefox 31).
http://jsfiddle.net/qapp5dLn/