При мастеринге, из-за используемой обработки вообще может придётся работать с большими задержками, например с эквализацией с линейной фазой, даже если выставлять буфер маленький, то такие плагины всё равно могут сообщить хосту реальную задержку (может и в тысячу сэмплов), которую хосту придётся компенсировать. По сути меняется реакция на кручение ручек - более медленно изменения будут происходить. Но так-то со звуком ничего не поменяется.
Маленькая задержка нужна только при записи чего-то с мониторингом через хост.