Как объединить два файла, исключив строки, существующие в обоих файлах?

У меня есть 2 файла, которые не могут быть отсортированы. Оба они имеют список слов в строках. Я пытаюсь сравнить оба файла и создать новый без любые повторяющиеся строки, которые совпадают между обоими файлами. Это означает, что если строка в файле A найдена в файле B, она не должна отображаться в качестве результата вывода.

Существует огромная проблема со многими вопросами и сайтами, которые говорят в своих заголовках «Удаление дубликатов», хотя на самом деле это «Объединение дубликатов и отображение уникального». Эти 2 пункта очень разные. На самом деле повторяющиеся строки не удаляются, а только объединяются.

В этом конкретном случае мне действительно нужно УДАЛИТЬ ИХ. Так что если они найдены в обоих файлах, то в результате не отображаются.

я тестировал связь уже и это не удается. Я также протестировал несколько других случаев, таких как awk, grep, которые я видел. Правила для обоих файлов следующие:

• Они имеют разный размер (не имеют одинакового количества строк)
• Чтобы быть дубликатом, он сравнивает всю строку с каждой и всеми другими строками в другом файле.
• Файлы не могут быть отсортированы

Вот некоторая информация о файлах, они содержат список адресов электронной почты, по одному электронному адресу в строке. Конечно, поскольку они разного размера, это не означает, что все электронные письма будут одинаковыми, но они содержат друг в друге все уникальные электронные письма. Просто некоторые электронные письма могут быть в обоих файлах. В случаях, когда электронные письма находятся в обоих файлах, выходные результаты не должны отображать эти электронные письма.

Есть более эффективные способы, но вот а решение. Я не был уверен, как вы хотите, чтобы файлы были объединены. Таким образом, в этом решении отдельные строки из файла1 записываются в новый файл, а затем в новый файл записываются отдельные строки из файла2.

# remove_dupes.py
из системного импорта argv

infile1 = открыть (str (argv [1]), "r" )
infile2 = открыть(str(argv[2]), "r" )
пытаться:
    выходной файл = открыть (str (argv [3]), "w" )
кроме (IndexError):
    выходной файл = открыть('вне', "w")


if1_arr = infile1.readlines()
if2_arr = infile2.readlines()
tmp_arr = if2_arr



исключить = []
для строки в if1_arr:
    если строка в if2_arr:
        исключить.добавлять(строка)
    еще:
        outfile.write(строка)

для строки в if2_arr:
    если строка не в исключении:
        outfile.write(строка)

infile1.close()
infile2.close()
выходной файл.close()

Бежать:

python3 remove_dupes.py <файл1> <файл2> <выходной_файл>

Если вы хотите превратить это в более быстрый инструмент командной строки, переместите сценарий в долгосрочное место и добавьте следующую строку в свой файл .bashrc, .bash_aliases, .zshrc или аналогичный файл.

псевдоним mydiff='python3 <path_to_script> '

Вы можете заменить «mydiff» на то, что вы хотите назвать. После этого вы можете запустить скрипт с помощью:

mydiff <файл1> <файл2> <выходной_файл>