Кстати, ответ на твой вопрос -- если вкратце, то да, они придумывают "на ходу", но мыслят они не отдельными нотами, а фразами; как правило, у музыканта-импровизатора есть набор фраз (словарь), которым он пользуется в процессе импровизации. Разумеется, чем больше словарь, тем лучше.
Если послушаешь много записей какого-нибудь выдающегося исполнителя (напр., Charlie Parker, Joe Pass), скорее всего, заметишь, что есть фразы (и их довольно много), которые часто употребляются практически в неизменном виде, но в разном контексте. Но! Вряд ли этот процесс можно свести, как ты пишешь, к "впихиванию разных фраз, гамм и проч". И tab'ы сыгранных кем-то импровизаций тут тебе вряд ли помогут (на начальном этапе), лучше почитать учебники по джазу, где говорится об импровизации.