J'ai trouvé une solution, qui m'aide au moins dans ma situation, elle n'est probablement pas adaptée à d'autres situations :
Je donne à tous mes divs enfants verts une marge complète :
margin: 10px;
Et pour la division parent jaune qui l'entoure, j'ai défini une marge négative :
margin: -10px;
J'ai également dû supprimer tout paramètre explicite de largeur ou de hauteur pour la div parent jaune, sinon cela ne fonctionnait pas.
De cette façon, en termes absolus, les divisions enfant sont correctement alignées, bien que la division parent jaune soit évidemment décalée, ce qui, dans mon cas, est acceptable, car elle ne sera pas visible.