1
Разница между небалансом и балансом на практике составляет 6db.
20 dbu и 6 dbV разные вещи, у dbu точка отчёта .775 V, у dbV - 1 V.
Уровень нигде не регулируется, если источник не может дать больше, то юлька тоже ничего не сделает.
На устройстве источнике скорее всего 0 dbVU что соответствует -6 dbFS (FullScale, "компьютерным").
Соответственно при небалансе имеем -12 dbFS. Клиппировать может устройство-источник (наверно микрофонный пред) - надо разбираться с его настройками.
Если синусоида подаётся с юльки, то надо смотреть входной уровень преда - например у Art Tube MP на входе до +14 dbu (баланс), а синусоида 0 dbFS с юльки выходит с уровнем +20 dbu, что клиппит входной каскад арта.
2
Карта работает в 24х битах, драйвер передаёт их в 32х битах (24 бита для мантиссы, представления диапазона (-1,1), это для ASIO). Битность выставляется в самой программе, надо искать там настройки. Программа и обрезает до 16.
Насчёт шума квантования в 90 db не знаю... не мерял.