Регистрация Войти
Рейтинг:0
khanhlpbao avatar Ubuntu

Есть ли способы загрузить файлы в оперативную память для более быстрого расчета?

флаг cn
khanhlpbao

Я сейчас учусь на биоинформатике. Я работаю с программами выравнивания, такими как BWA. Мне интересно, есть ли какие-либо команды или каталоги, которые позволяют мне копировать файл fastq с жестких дисков в оперативную память и выполнять все выравнивания и вычисления на нем, только распечатывать вывод на жесткий диск. Или, по крайней мере, он может работать с оперативной памятью

101
0 + 0
флаг in
matigo
Да, вы можете использовать RAM-диск. Сколько у вас оперативной памяти и какого размера файлы, с которыми вы хотите работать?
0
Ответить
khanhlpbao avatar
флаг cn
khanhlpbao
@matigo У меня 20 ГБ ОЗУ, и каждый файл fastq весит не более 2-3 ГБ.
0
Ответить
флаг in
matigo
Эти файлы не слишком большие. Я не удивлюсь, если они автоматически загружаются в буферы файловой системы (ОЗУ), если программное обеспечение их много читает.Тем не менее, вы, безусловно, можете использовать один из двух ответов ниже, чтобы выделить немного памяти и выполнить некоторые сравнительные тесты, чтобы увидеть, сокращает ли копирование файлов в ОЗУ общее время обработки.
0
Ответить
vanadium avatar
флаг cn
vanadium
Я согласен с матиго. Скорее всего, если вы пожертвуете оперативной памятью ради виртуального диска, вы можете не увидеть улучшений, потому что это идет за счет дискового кеша.
0
Ответить
Рейтинг:3
avatar Ubuntu
флаг pe
cmak.fr

вы можете использовать RAMFS для создания/монтирования каталога в ОЗУ, а затем скопировать в него свои файлы. Есть и другой способ добиться желаемого с помощью вмтач

sudo mkdir -p /mnt/ram
sudo mount -t ramfs /mnt/ram
sudo chmod 755 /mnt/ram

cp /path/to/myFile /mnt/ram/myFile

Конечно, содержание /мнт/баран будет потерян при размонтировании и/или перезагрузке

Освободите временные файлы оперативной памяти:

sudo размонтировать /mnt/ram
sudo rmdir /mnt/ram
0 + 0
khanhlpbao avatar
флаг cn
khanhlpbao
Спасибо, мне это нужно только временно для расчета, есть ли команда перезагрузить крепление после того, как я закончу расчет?
0
Ответить
флаг pe
cmak.fr
@khanhlpbao см. отредактированный ответ, я добавил команды для размонтирования временной памяти, когда расчет завершен
0
Ответить
Рейтинг:1
C.S.Cameron avatar Ubuntu
флаг cn
C.S.Cameron

Mkusb Frugal Persistent Live Install с toram

mkusb: https://help.ubuntu.com/community/mkusb, создает установки Persistent Live Frugal, которые будут загружаться торам.

Установку Frugal можно загрузить на USB или на внутренний диск.

Я думаю, что это делает очень быструю систему, если у вас достаточно оперативной памяти.

Между сеансами данные сохраняются в постоянном оверлейном разделе ext4. Вы также можете добавить разделы данных FAT32 и NTFS.

0 + 0
Рейтинг:0
Artur Meinild avatar Ubuntu
флаг vn
Artur Meinild

Ubuntu (and other Linux distros) already come with a pre-mounted ramdisk in /dev/shm. The size of this ramdisk is half your RAM (so in the OP's case 10 GB).

Instead of creating yet another ramdisk, it's perfectly fine to make a folder inside /dev/shm, copy your files there, and remove the folder again afterwards.

Examples:

$ mkdir /dev/shm/myfiles
$ cp /path/to/myfiles /dev/shm/myfiles
$ do whatever /dev/shm/myfiles
$ rm -R /dev/shm/myfiles
0 + 0
флаг Moldova
Admin
Этот вопрос на других языках:

Ответить или комментировать

Большинство людей не понимают, что склонность к познанию нового открывает путь к обучению и улучшает межличностные связи. В исследованиях Элисон, например, хотя люди могли точно вспомнить, сколько вопросов было задано в их разговорах, они не чувствовали интуитивно связи между вопросами и симпатиями. В четырех исследованиях, в которых участники сами участвовали в разговорах или читали стенограммы чужих разговоров, люди, как правило, не осознавали, что задаваемый вопрос повлияет — или повлиял — на уровень дружбы между собеседниками.