Если металлический набалдашник, то внутри за вал его держит пластмассовая вставка. Даже если вал приклеен к пластмасске, все равно можно вытянуть сам набалдашник.
Но, скорее всего он просто очень плотно сидит, раскачать его отверткой можно, поддевая с опорой на гайку потенциометра, при этом постепенно прокручивая.