Наверно у любой оптимизации есть какие-то пределы, наращивай мощность
У меня тоже проблемы при овресэмплинге x4, более-менее начинает работать при буфере 8 мс и если позакрывать лишнее, типа файрфокса
Хотя нагрузка не на 100%, видимо нагрузка распределена неравномерно, есть пики, при меньших буферах выскакивает в красную зону, хотя по большей части держится меньше 80% (даже меньше 70% при "нулевом" входящем сигнале). Дополнительная загрузка от других системных процессов на ядро вероятно и есть вишенка на торте.
Возможно более современные процессоры лучше справятся, либо просто будет больший запас, либо лучше с переключением тредов.
Т.е. у меня проца (ядра) не хватает чтобы справляться с неравномерной пиковой нагрузкой, увеличение буфера просто делает нагрузку более равномерной.