У RMAA есть ограничение: фряшная версия не позволяет низкие уровни задавать для измерения. Очень похоже на то, что уровень по входу несколько завышен оказался. Сталкивался с таким, когда надо было искажения оценить. Просто подал на вход нужный уровень и посмотрел в RMAA картинку спектра на выходе, без автоматических измерений.
Как вариант – делать на LM386N-1.