Walter Annenberg, Closet Pinko?