Лучший способ удалить текст с начала огромного файла

У меня есть огромный файл резервной копии MySQL (из mysqldump) с таблицами в алфавитном порядке. Мое восстановление не удалось, и я хочу продолжить с того места, где остановился, со следующей таблицей в файле резервной копии. (Я исправил проблему, на самом деле это не вопрос восстановления MySQL и т. д.)

Что я хотел бы сделать, так это взять файл резервной копии, например. резервная копия.sql и обрезаю начало файла, пока не увижу эту строку:

-- Структура таблицы для `mytable`

Тогда все после этого попадет в мой файл результатов, скажем резервное копирование-secondhalf.sql. Это несколько усложняется тем фактом, что файл сжат bzip2, но это не должно быть слишком большой проблемой.

Я думаю, что я могу сделать это так:

$ bunzip2 -c backup.sql.bz2 | grep --text --byte-offset --only-matching -e '--Структура таблицы для таблицы `mytable`' -m 1

Это даст мне байтовое смещение в файле, который я хочу обрезать. вплоть до. Затем:

$ bunzip2 -c backup.sql.bz2 | dd skip=[число сверху] | bzip2 -c > резервная копия-вторая половина.sql.bz2

К сожалению, для этого мне нужно дважды запустить bunzip2 для файла и дважды прочитать все эти байты.

Есть ли способ сделать это все сразу?

Я не уверен, что мой sed-fu достаточно силен, чтобы выполнить выражение «удалить все строки до регулярного выражения, а затем пропустить остальную часть файла».

Это на Debian Linux, поэтому у меня есть инструменты GNU.

bunzip2 -c backup.sql.bz2 | \
  sed -n '/-- Структура таблицы для `mytable`/,$p'

Объяснение:

-n запретить автоматическую печать пространства шаблонов

Построение диапазона адресов: Начните с регулярного выражения

/-- Структура таблицы для `mytable`/

Конец с

$ Соответствует последней строке.

Команда

p Распечатайте текущее пространство шаблона.

Изменить: в зависимости от того, как вы сбросили базу данных, которая у вас может быть очень длинные линии. GNU sed может обрабатывать их до объема доступной памяти.

ПРИМЕЧАНИЕ. Не фактический ответ

Поскольку я был мотивирован решить эту проблему в настоящее время, я пошел дальше и использовал grep найти смещение в нужном мне файле; это сработало отлично.

Бег дд к сожалению, требует, чтобы вы установили сб=1 что в основном означает отсутствие буферизации, а производительность ужасна. В ожидании завершения dd я потратил время на написание собственной программы на C, чтобы пропустить байты. Сделав это, я вижу, что хвост мог бы сделать это для меня так же легко:

$ bunzip2 -c restore.sql.bz2 | хвост -c +[смещение] | bzip2 -c > восстановить-обрезанный.sql.bz2

Я говорю «это не отвечает на мой вопрос», потому что для этого по-прежнему требуется два прохода по файлу: один, чтобы найти смещение того, что я ищу, и другой, чтобы обрезать файл.

Если бы я вернулся к своей пользовательской программе, я мог бы реализовать КМП во время фазы «только чтение» программы, а затем переключиться на «чтение + запись всего» после этого.

Интересно, поможет ли что-то подобное:

использовать строгий;
использовать предупреждения;
использовать функцию «говорить»;

используйте IO::Uncompress::Bunzip2 '$Bunzip2Error';

my $file = $ARGV[0] // умереть "нужен файл";

мой $zh = IO::Uncompress::Bunzip2->new($file, {
    Автозакрытие => 1,
    Прозрачный => 1,
} ) или умереть "Ошибка IO::Uncompress::Bunzip2: $Bunzip2Error\n";

мой триггер $ = undef;
в то время как ( <$zh> ) {
    чавкать;
    $trigger = 1 if $_ eq '-- Сброс данных для таблицы `experiments`';
    сказать, если $триггер;
}

Таким образом, в основном он начинает печатать материал после шаблона, его также можно передать напрямую в bzip2/gzip, например perl Chop.pl input_sql.bz2 | bzip2 > вне.sql.bz2 Вам понадобится libio-сжатие-perl на Дебиан.