Рейтинг:-1

Почему Hadoop и Spark отсутствуют в официальных репозиториях Ubuntu?

флаг cn

ОБНОВЛЕНИЕ (2021-11-13 22:12 GMT+8): что касается пакетов Snap, @karel предположил, что этот вопрос является дубликатом Почему в репозиториях Ubuntu нет последних версий программного обеспечения? Я не согласен, потому что (1) Snaps, будучи самодостаточным и связанным со всеми своими зависимостями, отличается от пакетов deb, и я ожидаю, что первые будут более внимательно следить за апстримом, и (2) даже если нет, я ожидаю, что они будут быть в стабильной к настоящему времени.


Я вижу, это уже спрашивали в Hadoop & Spark — почему нет пакетов Ubuntu? , но (1) это было еще в 2015 году, и с тех пор компьютерный ландшафт сильно изменился, и (2) единственный ответ на этот другой вопрос на самом деле не отвечает на него, поэтому я подумал, что было бы уместно спросить еще раз.

Так что теперь, в 2021 году, облачные вычисления и большие данные стали более распространенными по сравнению с 2015 годом. Учитывая, что одним из основных вариантов использования Linux является облачные вычисления / большие данные, почему де-факто способ настройки Hadoop и Spark ( ключевые фреймворки, связанные с обработкой больших данных) по-прежнему загружают и распаковывают архивы из основной ветки вместо того, чтобы просто получать соответствующие бинарные пакеты из официальных репозиториев Ubuntu, запустив соответствующий меткая установка команда? Если я что-то не упустил, я полагаю, что такие широко используемые фреймворки, предварительно упакованные для Ubuntu, принесут ряд ощутимых преимуществ огромной базе пользователей, таких как (но не ограничиваясь ими):

  • Улучшенная интеграция с хост-системой
  • Требуется меньше ручной настройки и настройки

P.S. Я также проверил магазин Snap, учитывая стремление Canonical к Snap в последние годы, и хотя они кажутся упакованными (Хадуп, Искра), последние попытки были еще в 2017 году, и они доступны только в нестабильных бета-версиях / пограничных каналах.

karel avatar
флаг sa
Отвечает ли это на ваш вопрос? [Почему в репозиториях Ubuntu нет последних версий программного обеспечения?](https://askubuntu.com/questions/151283/why-dont-the-ubuntu-repositories-have-the-latest-versions-of-software )
Donald Sebastian Leung avatar
флаг cn
Нет, потому что Hadoop и Spark, похоже, вообще отсутствуют в официальных репозиториях Ubuntu (я не смог найти ничего подходящего с помощью `apt-cache search`)
karel avatar
флаг sa
Пакеты Hadoop и SparkSnap также не обновлялись с 2017 года. Вот что делает этот вопрос либо повторяющимся вопросом, либо основанным на мнении.
Donald Sebastian Leung avatar
флаг cn
Но тогда (1) я ожидаю, что пакеты Snap будут более внимательно следить за апстримом, и (2) даже если нет, к настоящему времени он уже должен быть в стабильной версии.
karel avatar
флаг sa
Я бы ожидал того же, поскольку оба пакета snap поддерживаются одним и тем же человеком, но этого не произошло.
Рейтинг:2
флаг cn

И Hadoop, и Spark были исключены из Debian много лет назад, в основном из-за отсутствия добровольного интереса к поддержке этих пакетов. Ubuntu получает большинство своих пакетов deb от Debian, поэтому они также были удалены из Ubuntu.

Любой волонтер сообщества, желающий изучить процесс и внести свой вклад в повторное внедрение пакетов в Debian, и впоследствии они войдут в будущие выпуски Ubuntu. Больше добровольцев = больше, лучше и современнее программное обеспечение.

Также, согласно https://wiki.debian.org/Hadoop, разработчики Hadoop не упростили упаковку и обслуживание deb для добровольцев Debian:

Есть ряд причин для этого; в частности, процесс сборки Hadoop будет загружать различные зависимости через Maven вместо использования пакетов, поставляемых с дистрибутивом. Подобные Java-проекты, к сожалению, нелегко упаковать из-за взаимозависимостей; и, к сожалению, стек Hadoop полон странных зависимостей

Если эта информация устарела или неверна, волонтеры сообщества снова должны активизироваться, внести исправления и внести изменения. Debian и Ubuntu управляются добровольцами. Больше добровольцев = лучшая документация.

Donald Sebastian Leung avatar
флаг cn
Спасибо, это было подробное объяснение, которое я искал. Жаль, что разработчики Hadoop не упростили упаковку для таких дистрибутивов, как Debian (и Ubuntu). Может, мне стоит как-нибудь подумать над тем, чтобы внести свой вклад :-)

Ответить или комментировать

Большинство людей не понимают, что склонность к познанию нового открывает путь к обучению и улучшает межличностные связи. В исследованиях Элисон, например, хотя люди могли точно вспомнить, сколько вопросов было задано в их разговорах, они не чувствовали интуитивно связи между вопросами и симпатиями. В четырех исследованиях, в которых участники сами участвовали в разговорах или читали стенограммы чужих разговоров, люди, как правило, не осознавали, что задаваемый вопрос повлияет — или повлиял — на уровень дружбы между собеседниками.