Zuerst erstellst du eine Liste der DN's aller $groupmember
$dns = $groupmember | Select-Object -ExpandProperty DistinguishedName
Dann zeigst du nur die $aduser an, die nicht in der Liste aus DN's vorkommen.
$aduser | Where-Object {
$dns -notcontains $_.DistinguishedName
}