Capacity schedular est capable de soumettre des travaux dans d'autres files d'attente, malgré une configuration correcte.

Question

Voici le fichier xml de mon scheduler, j'ai restreint l'accès aux files d'attente Root, où les utilisateurs dev2, qa2 doivent soumettre leurs travaux à leurs files d'attente seulement. Mais je peux soumettre des travaux à la file d'attente QA en tant qu'utilisateur dev2 également, cela ne devrait pas se produire, j'ai également modifié en conséquence dans les politiques RANGER YARN et désactivé la super politique qui avait accès à toutes les files d'attente pour tous les utilisateurs, s'il vous plaît conseillez-moi.

yarn.scheduler.capacity.root.default.user-limit-factor=1
yarn.scheduler.capacity.root.default.state=RUNNING
yarn.scheduler.capacity.root.default.maximum-capacity=40
yarn.scheduler.capacity.root.default.capacity=40
yarn.scheduler.capacity.root.default.acl_submit_applications= 
yarn.scheduler.capacity.root.default.acl_administer_jobs= 
yarn.scheduler.capacity.root.capacity=100
yarn.scheduler.capacity.root.acl_administer_queue= 
yarn.scheduler.capacity.root.accessible-node-labels=*
yarn.scheduler.capacity.node-locality-delay=40
yarn.scheduler.capacity.maximum-applications=10000
yarn.scheduler.capacity.maximum-am-resource-percent=0.2
yarn.scheduler.capacity.default.minimum-user-limit-percent=100
capacity-scheduler=null
yarn.scheduler.capacity.root.queues=dev,qa,default
yarn.scheduler.capacity.root.acl_administer_jobs= 
yarn.scheduler.capacity.root.default.acl_administer_queue= 
yarn.scheduler.capacity.root.default.user-limit=1
yarn.scheduler.capacity.root.dev.acl_submit_applications=dev2
yarn.scheduler.capacity.root.dev.capacity=30
yarn.scheduler.capacity.root.dev.maximum-capacity=30
yarn.scheduler.capacity.root.dev.user-limit=1
yarn.scheduler.capacity.root.qa.acl_submit_applications=qa2
yarn.scheduler.capacity.root.qa.capacity=30
yarn.scheduler.capacity.root.qa.maximum-capacity=30
yarn.scheduler.capacity.root.qa.user-limit=1

Answer 1

Vous passez à côté de la propriété qui bloque l'accès à root queue.

Aquí root est la file d'attente parente pour les deux dev y qa les files d'attente pour les enfants. L'accès à cette file d'attente n'est pas limité, ainsi tous les utilisateurs et groupes ont accès à cette file d'attente et à ses files d'attente filles.

Ajoutez cette propriété à la capacity-scheduler.xml ,

  <property>
    <name>yarn.scheduler.capacity.root.acl_submit_applications</name>
    <value> </value>
  </property>

Cela bloque l'accès à root à tous les utilisateurs et groupes, alors les acls fournis pour les files d'attente enfants seront restrictifs comme défini.