Это отмазка, которую сами джазисты придумали 
С каких пор IQ измеряют по тому, какую музыку слушает человек?
Имеется ввиду музыкальное IQ - это совокупность врожденных данных в виде музыкального слуха, музыкального воспитания, музыкального образования, багажа тонн прослушанной музыки, и развития всех этих факторов.
Я уверен, что 99% сосайтников не посещают оперу или балет, но это признанные во всем мире эталонные стандарты музыки.
Туда ходят люди, имеющие музыкальное образование, или просто эстетическо-околомузыкальное воспитание.
Вот так и джаз, неподготовленный слушатель может заглотить "ХеллоДолли" Армстронга, или "С Утра Побрился" Цфасмана, но дальше, не песенно-коммерческий танцевальный джаз, а инструментально-импровизационный без длительной подготовки - нет)
Это музыка для узкого круга понимающих ценителей, чувствующих пульс и грув свинга, ощущающих полноту гармонии и надстроек полиаккордов, и ощущающих кайф импровизированного спонтанного голосоведения на заданную гармонию и ритм)
Это андеграунд для ценителей, не для широких масс.
