Vous n'avez donc pas à le fermer - Python fera automatiquement, soit lors de la collecte des ordures ou à la sortie du programme. Mais comme @delnan noté, il est préférable de fermer explicitement pour des raisons diverses.
Donc, ce que vous pouvez faire pour le garder court, simple et explicite:
with open('pagehead.section.htm','r') as f:
output = f.read()
Maintenant, c'est juste deux lignes et assez lisible, je pense.
Par ailleurs, dans votre code, vous n'êtes pas de la fermeture du fichier, soit parce que vous avez oublié les parenthèses en .close()
(ce que vous allez faire maintenant est de créer une référence à la méthode elle-même (qui, sauf si vous imprimer le résultat, ne pas faire n'importe quoi) au lieu de l'appeler).