запилил к приблуде отдельный модуль компаратора с гистерезисом. Если еще добавить на выходе конденсаторы 100пф, то глючить практически перестает (вернее без этих кондеров ваще практически не работает, но с ними хорошо), небольшие доработки в программе позволили отсеивать редкие глючные моменты и АФЧХ снимаются весьма стабильно.

Но пресловутый гистерезис компаратора, позволивший побороть прошлые глюки, породил другой вполне логичный эффект - когда на выходе схемы сигнал сильно слабый - на низких частотах возникает сдвиг фазы назад - чем слабже сигнал тем сильнее - из-за гистерезиса более пологая синусоида триггерит компаратор позже чем крутая. Но это фигня и в принципе это даже можно откалибровать, хоть и сложно - зависит не только от амплитуды, но и от частоты.
Впрочем пока сигнал не слишком маленький в принципе ФЧХ выглядит неплохо - вот например обычные делители:

а вот когда в схеме есть конденсатор в роли ФВЧ - все равно наблюдается какой-то странный эффект нарастания фазы на высоких частотах (верхний график, справа симуляция) - вместо того чтобы уходить в ноль там идет прирост. Тут уж думаю это какие-то паразитные явления физические, может конденсаторы там с чем-то реагируют так странно.
нижний график это ФНЧ - там понятно присутствует эффект отставания фазы при затухании сигнала, ну и меньше какого-то уровня там уже мерить нечего

Еще интересная фигня
тут верхний график - симулятор, потом второй - звук прямиком с ютюба, а третий (нижний) - звук был сначала записан при воспроизведении с ютюба (качество записи накрутил большое там 96кгц 32бита), громкость его была увеличена (чтоб помощнее был выхлоп), и вот с этим звуком есть заметный глюк фазы а районе 1,5-2 кгц. Загадочно!

Вывод - АЧХ снимается по прежнему отлично, фазу в принципе смотреть можно, но со значительными ограничениями.