От плагинов зависит, часто подобное бывает из-за денормалов (некоторых экстремальных значений чисел). Плюс плаг может работать однопоточно или около того, тогда одно ядро может быть загружено на 100%, а остальные нет, а общая нагрузка на проц при, допустим, 4х ядрах будет 25%. Т.е. дело вполне может быть и в использующейся обработке, а отнюдь не карте. Сам хост может не вполне корректно отображать нагрузку.
Вот в данном проекте вероятно контакт занимается ресэмплингом из 44к в 48к (частоту проекта), т.к., очень вероятно, библиотека сэмплов в 44к. Тоже лишняя нагрузка

С эму проблема лишь в том что стандартный буфер карты неудобного размера, не знаю позволяет ли элементс использовать размер буфера отличный от выставляемого в ASIO-панели. Например Рипер может назначать буферы другого размера, степень двойки удобнее для обработки, меньше вычислительных затрат.