Программный кластер для параллельной обработки больших объемов данных

Виталий Ткачев
ментор проекту

Область применения предлагаемого кластера — быстрый поиск текстовой и графической информации в большом объеме данных в локальных цифровых хранилищах (библиотеки, учебные учреждения, предприятия, финансовые организации и т.п.).

Кластер позволяет делать автоматизированный поиск необходимой информации с легкой настройкой пользователем аппаратных ресурсов для выполнения обработки. Поиск происходит путем распараллеливания массива данных между несколькими виртуальными машинами в рамках одной физической машины или между несколькими физическими машинами в локальной сети путем пропорционального деления информации. Обработка и поиск графической информации происходит благодаря машинному обучению.

Разработанный кластер позволит ускорить поиск необходимой информации в больших ее объемах, уменьшить необходимость в человеческих ресурсах по работе с ней, автоматизирует некоторые производственные процессы работы.

Кластер реализован в виде программного обеспечения. Оно позволяет пользователям как самостоятельно, так и по умолчанию, выделять аппаратные ресурсы для выполнения задания локального поиска и получать результат в виде файла. Также кластер возможно модернизировать дополнительно в зависимости от потребности специфического поиска.