Ну да, методично тыкать в папки, смотреть на колонку "размер" и таким вот образом найти мусор. Главное, не удалять php, html, jpg, gif, .htaccess и прочие полезные файлы, а искать что то типа архивов zip, tar gz, видео и прочий тяжелый контент. Это долго и уныло, я знаю :)