Bugogo, RCA не обрезают никаких частот, и при желании их можно найти по цене дороже гитары. Вот, например, полюбуйся -
https://www.allcables.ru/product/kabel-audio-2xrca-2xrca-kubala-sosna-elation-analog-cable-rca-2-0m-89727/ 
Гитарный кабель самый важный во всей цепочке из-за того самого импеданса (у гитарных датчиков он высокий, и кабель работает как фильтр, срезающий высокие частоты, поэтому желательно, чтобы у него была маленькая емкость, хотя тут тоже дело вкуса, конечно, и некоторые любят помутнее), а также из-за того, что гитарный сигнал усиливается и компрессируется очень сильно, из-за чего любые шумы и наводки в итоге станут очень громкими.
Что касается кабеля к колонкам, там нет таких проблем с импедансом, сам сигнал сильнее, поэтому посторонние шумы не так заметны, и сигнал не проходит такой обработки, как гитарный. Поэтому кабель не так важен. Хотя, как видно по ссылке, не все со мной согласятся.
У карты балансные выходы, у профессионального оборудования (у мониторов, например) балансные входы, там помехозащищенность намного лучше, чем у обычного RCA кабеля. Но на коротких расстояниях и когда все воткнуто в одну розетку это вряд ли будет проблемой.
А что касается твоего общего вопроса про качество - тебе колонки нужны типа мониторные, не компьютерные. Ну или приближенные к ним мультимедийные. Без нормальной акустики никакое кабели и звуковые карты радикально проблему не решат. Хотя с картой с нормальным инструментальным входом станет лучше, чем сейчас.