Регистрация Войти
Рейтинг:0
Vamshi Krishna CH avatar Ubuntu

объединение текстовых файлов с разделителями табуляции на основе столбца (который является заголовком) в bash?

флаг us
Vamshi Krishna CH

У меня есть два текстовых файла, которые содержат миллионы записей, все записи разделены табуляцией, как мы можем объединить эти два файла на основе одного и того же заголовка (столбца)?

файл:1

    LogEntryTime nameId PartnerId        
    2021-06-05T15:00:53 07 5lsddf qyutxwr

файл:2

        nameId GroupId compnayid
        5lsddf l4buafm 0rd33cs

выводить так:

    LogEntryTime nameId PartnerId GroupId compnayId
    2021-06-05T15:00:53 07 5lsddf qyutxwr l4buafm 0rd33cs

Пробовал это, но не работает:

вставить файл1.txt файл2.txt | nameId -s $'\t' -t

и

кот файл1.txt файл2.txt | awk -F '\t' '{print $ перечислите здесь имена всех столбцов}'

awk, который работает, но нужно указать все номера столбцов.

есть ли другое решение, помогите мне.

заранее спасибо

330
3 + 7
ш
vanadium avatar
флаг cn
vanadium
Я бы, вероятно, использовал базу данных для этого.
0
Ответить
Vamshi Krishna CH avatar
флаг us
Vamshi Krishna CH
в сценарии оболочки, как мы можем этого добиться?
0
Ответить
vanadium avatar
флаг cn
vanadium
Я не думаю, что это будет легко. Много петель, и это будет медленно.
0
Ответить
Vamshi Krishna CH avatar
флаг us
Vamshi Krishna CH
для сотен записей также использовать ту же процедуру?
0
Ответить
vanadium avatar
флаг cn
vanadium
Если порядок записей идентичен во всех текстовых файлах (т. е. запись 2 в файле 1 соответствует записи 2 в файле 2 и т. д.), то ваша команда awk с вставкой вырежет ее. Лучше добавьте эту информацию к вашему вопросу. Я предполагал, что данные должны сопоставляться, например, `nameid 5lsddf` — это запись 1 в файле 1, но запись *x* в файле 2.
0
Ответить
Vamshi Krishna CH avatar
флаг us
Vamshi Krishna CH
тот же столбец будет вырезаться во втором слиянии файлов с первым файлом. это все
0
Ответить
Vamshi Krishna CH avatar
флаг us
Vamshi Krishna CH
Вы можете помочь в этом?
0
Ответить
Рейтинг:2
bac0n avatar Ubuntu
флаг cn
bac0n

Зациклите один из файлов в массиве и замените первое поле второго файла (которое nameId) с индексом массива, соответствующим общему полю.

awk -F \t+ -vOFS=\t 'NR==FNR{a[$2]=$0;следующий} {$1=a[$1]}1' файл{1,2}.txt
0 + 0
Рейтинг:2
avatar Ubuntu
флаг hr
steeldriver

Если ваши файлы представляют собой правильно созданные файлы с разделителями табуляции (TSV), вы можете использовать csvjoin на основе Python csvkit упаковка.

Бывший. данный:

$ головной файл1.tsv файл2.tsv | кот -А
==> файл1.tsv <==$
LogEntryTime^InameId^IPartnerId$
2021-06-05T15:00:53 07^I5lsddf^Iqyutxwr$
$
==> файл2.tsv <==$
nameId^IGroupId^IcompnayId$
5lsddf^Il4buafm^I0rd33cs$

(кот -А сделать вкладки видимыми, т.к. ^ я) тогда

$ csvjoin -I -t -c nameId file1.tsv file2.tsv
LogEntryTime, nameId, PartnerId, GroupId, compnayid
2021-06-05T15:00:53 07,5lsddf,qyutxwr,l4buafm,0rd33cs

Чтобы вернуть вывод в формате TSV, используйте CSVформат из того же пакета:

$ csvjoin -I -t -c nameId file1.tsv file2.tsv | CSVформат -T
LogEntryTime nameId PartnerId GroupId compnayId
2021-06-05T15:00:53 07 5lsddf qyutxwr l4buafm 0rd33cs

Обратите внимание, что -Я отключает вывод типа, который иногда может вести себя неожиданно, особенно с полями даты и времени.

Еще проще, используя Миллер (доступен в репозитории юниверса в виде пакета мельник):

$ mlr --tsv join -f file1.tsv -j nameId then reorder -f LogEntryTime file2.tsv
LogEntryTime nameId PartnerId GroupId compnayId
2021-06-05T15:00:53 07 5lsddf qyutxwr l4buafm 0rd33cs

Изменение порядка необходимо, потому что по умолчанию млр присоединиться сначала выводит общее поле (так же, как система присоединиться команда). Обратите внимание, что для несортированного ввода все файл1.tsv будет загружен в память.

0 + 0
Рейтинг:1
avatar Ubuntu
флаг cn
glenn jackman

С этим конкретным набором данных:

хорошо '
    НАЧАЛО {FS = OFS = "\t"}
    NR == FNR {f1[$2] = $0; следующий}
    {$1 = f1[$1]; Распечатать}
' файл{1,2}.txt

Упоминается только поле соединения ($2 в файле1, $1 в файле2).

Производит вывод, разделенный табуляцией

LogEntryTime nameId PartnerId GroupId compnayId
2021-06-05T15:00:53 07 5lsddf qyutxwr l4buafm 0rd33cs

Для красивого вывода направьте в | столбец -t -s $'\t' получить

LogEntryTime nameId PartnerId GroupId compnayId
2021-06-05T15:00:53 07 5lsddf qyutxwr l4buafm 0rd33cs
0 + 0
флаг Moldova
Admin
Этот вопрос на других языках:

Ответить или комментировать

Большинство людей не понимают, что склонность к познанию нового открывает путь к обучению и улучшает межличностные связи. В исследованиях Элисон, например, хотя люди могли точно вспомнить, сколько вопросов было задано в их разговорах, они не чувствовали интуитивно связи между вопросами и симпатиями. В четырех исследованиях, в которых участники сами участвовали в разговорах или читали стенограммы чужих разговоров, люди, как правило, не осознавали, что задаваемый вопрос повлияет — или повлиял — на уровень дружбы между собеседниками.