Найдите дубликаты файлов и преобразуйте их в ссылки [WINDOWS]

Мои пользователи, как правило, сохраняют множество дубликатов файлов, что занимает все больше и больше места и создает затраты на аппаратное обеспечение и архивирование.

Я думаю создать какое-то запланированное задание, чтобы:

1. найти дубликаты файлов (проверить сумму MD5 файла, а не только имя файла/размер)
2. оставить только 1 исходный файл
3. заменить другие лишние копии ссылкой (ярлыком) на файл (пункт выше)

Любая идея, как это заархивировать?

Скрипт/инструмент/советы?

РЕДАКТИРОВАТЬ 28.10.2021

Тем временем нашел findDupe: https://www.sentex.ca/~mwandel/finddupe/

Это позволяет создавать жесткие ссылки на исходные файлы. Я пробовал это - он правильно показывает, что дублируется, кажется, создает жесткие ссылки, но ... В конце концов, я не вижу разницы в статистике использования жесткого диска.

Почему так? Может быть Windows неправильно считает свободное место?

Для Windows я автор https://github.com/Caspeco/BlobBackup/tree/master/DuplicateFinder

Вам понадобится визуальная студия для компиляции кода. Учтите, однако, что со ссылками, если модифицируется один "файл", то и все (точнее, только один файл). Это может быть нежелательным поведением для пользователей.

Я сделал небольшой скрипт на питоне, который отвечает вашим потребностям.

Он использует fdupes -r <каталог> чтобы получить все дубликаты файлов (даже с разными именами). После этого он перебирает вывод и удаляет дубликаты файлов, а затем создает символическую ссылку.

Я позволю вам раскомментировать два ОС.система() строки для включения модификаций.

Возможно, вы захотите передать параметр этому скрипту (например, путь или что-то еще), я позволяю вам искать эту потребность :)

импорт ОС

root_dir='/дом/пользователь/каталог'

blocks_of_dup_files = os.popen('fdupes -r ' + root_dir).read().split('\n\n')

если(blocks_of_dup_files[-1] == '') :
    blocks_of_dup_files.pop()


для файлов в block_of_dup_files:
    файлы = файлы.split('\n')
    сохраненный_файл = файлы.pop()
    для файла в файлах:
        print('rm -f ' + файл)
        print('ln -s ' + сохраненный_файл + ' ' + файл)

        #os.system('rm -f ' + файл)
        #os.system('ln -s ' + keeped_file + ' ' + файл)