Комп-то не слабый вообще-то, просто надо понимать что маленький буфер типа 32 сэмпла может быть противопоказан например тем же свёрточникам работающим по алгоритму быстрой свёртки (через FFT). И не факт что ещё более мощный проц (по частоте ядра) это вылечит

Надо понимать что в от плагина требуется за интервал 32 сэмпла всё посчитать, но на этот же квант времени претендуют и системные процессы, не факт что плагину будет выделено необходимое, а если не успел - дропаут. Поэтому больший размер буфера - стабильнее, комп это не риалтайм-система.
Конкретно из перечисленного Helix Native и Gojira вообще внутри работают строго на 48к, как-то в последней версии натива не сильно обнаружил вроде как обещанного для их железок улучшения оверсэмплинга

Для начала - отключить родную кабсимуляцию NDSP и использовать импульсы в стороннем загрузчике.
Формально NTS это не тяжёлый плагин, но с кучей неоптимальных решений. Тяжёлые это типа Merkurial Spark, где даже видно что нагрузка на проц не равномерная.