Нужно как на многих других форумах с кучей смайликов сделать 3 варианта - базовые смайлы (ну они и так есть), расширенные смайлы (штук 40 самых часто используемых, открывается тоже в новом окошке, но грузится-то быстрее чем пара сотен), дополнительные смайлы - как сейчас, все смайлы в отдельном окошке.
Т.е. проще говоря - рядом с кнопкой "дополнительные смайлы" добавить еще одну, где будет только 40 самых часто используемых.