La vraie question est de savoir pourquoi vous ne savez pas si vous l'observez ou non.
Si vous faites cela dans la classe de l'objet observé, arrêtez. La personne qui l'observe s'attend à ce qu'elle continue à l'observer. Si vous coupez les notifications de l'observateur sans qu'il le sache, attendez-vous à ce que les choses se cassent ; plus précisément, attendez-vous à ce que l'état de l'observateur devienne obsolète car il ne reçoit plus de mises à jour de l'objet précédemment observé.
Si vous faites cela dans la classe de l'objet observateur, rappelez-vous simplement quels objets vous observez (ou, si vous n'observez jamais qu'un seul objet, si vous l'observez). Si l'observateur possède l'observé, il suffit d'ajouter l'observateur après avoir créé ou conservé l'observé, et de supprimer l'observateur avant de libérer l'observé.
L'ajout et la suppression d'un objet en tant qu'observateur doivent généralement se faire dans la classe de l'observateur, et jamais dans celle de l'objet observé.