Задержка на большой частоте становится меньше при том же самом размере буфера.
По сути мало того что нагружаем больше, так ещё попутно заставляем работать с меньшей задержкой
Ну и ресэмплинг если где-нибудь применяются стандартные сэмплы (не 96к), а качественный ресэмплинг штука не очень экономная.
Хотя написано что трабл есть с любым размером буфера...
В любом случае я бы не рискнул с 96к и на 4х-ядернике возиться, хотя смотря какой насыщенный проект, разве что на мощном. Какая загрузка проца показывается в хосте?