Это заблуждение. Душа - не дух! Она как раз к материи, к земле тянется.
Не будем здесь разводить спор по этому поводу, это на самом деле вопрос разницы понимания терминологии. Просто использую слово душа как большинству известное и распространенное. Смысл в том, что этим я обозначаю сознающее себя Я являющимся нематериальным.
Т.ч. материя на душу то как раз влияет. Кто всем своим существом к миру сему прирос тому больнее отрываться от него будет. От любимых игрушек материальных, от ютуба или интернета того же
Или это прям никак не влияет ни на что?
На меня , мою душу, это влияет и сильно! Может Вы просто за собой не замечали и за окружающими. У которых телефон отбери, на второй день ломки, как у наркомана начнутся - прямая зависимость 
Из того, что я понял из Вед, картина этого механизма описана следующим образом. Ты как душа независим от материи. Но в тебе есть привязанность к ней и это вещь чисто в твоем сознании. Вот приведу тебе пример, например у тебя есть автомобиль или другая дорогая вещь. Если ее кто-то будет ломать, тебе будет неприятно, может очень неприятно, а если сильно привязан - то может даже больно. Таким образом, хоть эта вещь, автомобиль никаким образом на твое тело непосредственно не влияют, тебе может быть даже больно. Весь вопрос в привязанности и отождествлении. Так вот, глубина этой привязанности и отждествления себя с телом очень очень сильно глубока. Потому нам это и причиняет якобы боль, но на самом деле это просто мы как душа об этом сильно переживаем. Процесс привязанности происходит через процесс отождествления - когда ты воспринимаешь что-то своим ты начинаешь отождествлять часть себя с этим, т.е. как будто это часть тебя. Максимальный уровень отождествления происходит в теле, когда ты полностью забываешь что ты душа и начинаешь думать что ты и есть это тело. Это как игра в игру, когда на тебя надевают еще очки виртуальной реальности, и ты отчасти забываешь самого себя и отождествляешь себя с героем игры. Для того, чтобы это реализовать, необходимо чтобы душа отупела, по какой то причине забыла кто она есть на самом деле и сконцентрировалась на этом теле полностью переживая о том, что с ней происходит, даже ни на капельку не вспоминая про свою истинную сущность. По Ведам такую функцию выполняет так называемая оболочка невежества (в терминологии вед "авидья" - "а" - чистица отрицания, "видья" - однокоренное нашему русскому "видеть" но в более широком значении чем видеть - знать, т.е. не знаний, второй термин: "тама" - однокоренное русскому слову "тьма"), которая лишает душу знания о себе самой, и памяти о себе в том числе.
Таким образом вопрос причинений страданий тебе материи лишь в .... хотел сказать "в твоей голове" но немного корректнее будет сказать "в твоем сознании". И тем сильнее они будут, чем сильнее твое отождествление. Соответственно решить эту проблему можно возрождая в себе истинное знание о себе, кто ты есть на самом деле, подтверждая это делами. И постепенно постепенно влияние материальной энергии на твои страдания будет ослабевать. И наоборот, если в тебе будет развиваться желание наслаждаться объектами этого мира, это будет возможно только через углубление отождествления и забвения своей основной природы - мироздание послушно повинуясь твоей воле будет усиливать в тебе невежество, ты будешь больше "наслаждаться", но и страдать т.е. зависим от этого будешь больше. Соответственно потом выходить из ямы этого отождествления будет еще сложнее и дольше. "Замечательный" вариант таких наслаждений: набухаться, отупеть и оторваться по полной. Поэтому практически всегда в религиях присутствуют мероприятия по самоограничению: будто то посты, или какие то регламенты в повседневной жизни - все они призваны постепенно возвысить человека до духовного самоосознания.
"Живое существо страдает из-за ложного самоотождествления. На самом деле оснований для беспокойства у него не больше, чем у человека, который во сне видит, как ему отрубают голову."
Шримад-Бхагаватам 3.7.10