Дубликаты файлов могут появляться при сохранении резервных копий на диск, одновременном редактировании нескольких версий одного и того же файла или при изменении структуры каталогов. Одни и те же файлы могут быть сохранены несколько раз с различными именами или в разных папках и только засоряют дисковое пространство.
Охота на них каждый раз может стать большой проблемой. Но к счастью существует маленькая утилита которая может сберечь ваше время потраченное на поиск и уничтожение дубликатов файлов на компьютере - FSLint. Она написана на Python. Время навести порядок и удалить старые файлы.
Поиск дубликатов файлов в Linux
Вы можете установить утилиту из официальных репозиториев большинства дистрибутивов Linux. Давайте рассмотрим пример для Ubuntu. Сначала обновите списки пакетов:
sudo apt update
Затем установите утилиту:
sudo apt install fslint
После завершения установки вы можете запустить утилиту из главного меню:
В главном окне программы можно выбрать различные варианты поиска неисправностей файловой системы. По умолчанию выбран Поиск дубликатов, ещё вам предстоит настроить папки, в которых будет выполнятся поиск, по умолчанию добавлена только домашняя папка:
После того как вы выберите каталоги, запустите поиск дубликатов Linux. Для этого надо нажать кнопку Поиск. Утилита сразу же начнёт выводить обнаруженные дубликаты файлов:
Когда поиск завершится вы сможете удалить файлы, которые вам не нужны, для этого выделите их мышью и нажмите кнопку Удалить. Программа спросит подтверждения действия и удалит файл:
Также вы можете объединить файлы дубликаты с помощью жесткой ссылки. По нажатию кнопки Объединить, утилита объединяет все файлы кроме выделенных. Кроме того, утилита позволяет искать несовместимые имена файлов, временные файлы, плохие ссылки, пустые директории и многое другое. Поэкспериментируйте с ней если будет желание.
Anubis – это максимально легкое open-source решение, созданное специально для защиты небольших веб-ресурсов от бесконечного потока запросов от ботов и AI парсеров. Этот инструмент можно считать "ядерным вариантом", потому что он заставляет ботов выполнять вычисления похожие на майнинг криптовалюты. Но это неплохая альтернатива для тех, кто не может или не хочет использовать Cloudflare. Посмотреть детали
Отличная статья. Как раз искал инструмент, чтобы почистить диск от дублей в mp3 коллекции. Сначала хотел делать все в консоли приспособив каким-нибудь образом find, но теперь попробую DupeGuru-ME, все-таки в графике нагляднее 🙂
А дубликаты картинок она ищет? Не по именам и не по размерам, разумеется. 🙂
Да, там есть специальная версия для поиска одинаковых картинок, а также музыки.
Спасибо!
Хорошая статья, спасибо! И программа на ура!
Да, спасибо, программа отличная.
Спасибо!
Обновите инфу:
sudo add-apt-repository ppa:dupeguru/ppa
sudo apt-get update
sudo apt-get install dupeguru
Debian:
apt install fdupes
Arch:
pacman -S fdupes
Попробовал установить - выдаёт сообщение "Пакет fslint недоступен, но упомянут в списке зависимостей другого пакета. Это может означать, что пакет отсутствует, устарел или доступен из источников, не упомянутых в sources.list. Для пакета «fslint» не найден кандидат на установку"
А есть какой-либо аналог для поиска из консоли одинаковых картинок? У меня нет рабочего стола на удалённом сервере.
czkawka. Есть GUI, CLI и на гитхабе приведены аналоги, у аналогов тоже есть ссылки на аналоги =)
fdupes