Для себя нашел объяснение, что как только истирается определенный слой на контакте, то что под ним окисляется со всеми вытекающими.
ну фактически оно так и есть

Что представляет из себя контактный пятак типичного реле/тумблера/etc. : основа в виде бронзовой или латунной детали, углеродистый препрег типа графита и дальше гальваническое покрытие.
Когда покрытие, которое хорошо контачит протирается, то остаётся очень тонкий, но очень прочный слой препрега с очень хреновым контактом. Лечится просто мелкой шкуркой или ластиком.
Но вылезает проблема - оголившаяся латунная/бронзовая основа, в отличие от гальванического покрытия, быстро окисляется и хреново контачит.
Воспользовавшись абразивом однажды, будешь повторять это с завидной регулярностью.
Проще поменять на новую исправную деталь.