Опыт показывает, что при увеличении. Почему - см. спецификации алгоритмов.
И вообще, изменение размера без потери качества возможно только при увеличении в 2х, 3х... раз, как нетрудно догадаться. Так что про программы, сжимающие без потерь - не надо
Потери есть всегда, другое дело, что на них можно забить.