Oui, c'est documenté dans l'aide d'XFCE (section "Gestionnaire de session"/"Options d'arrêt/redémarrage"): il faut autoriser les utilisateurs voulus à lancer xfsm-shutdown-helper via sudo.
Ici, après avoir fait un groupe appelé "shutdown" pour les utilisateurs autorisés, ça donne une entrée comme ça dans le sudoers(5):
Code:

# Pour autoriser les options "shutdown" et "reboot" d'XFCE:
%shutdown ALL=(root) NOPASSWD: /usr/pkg/libexec/xfsm-shutdown-helper 

Pour les commandes à utiliser: cf. pw(8) et visudo(8). Le chemin du "helper" est à adapter aussi (pkgsrc ici, contre ports sur FBSD).