Програмний кластер для паралельної обробки великих обсягів даних

Віталій Ткачов
ментор проекту

Область застосування пропонованого кластеру – швидкий пошук текстової та графічної інформації у великому обсязі даних в локальних цифрових сховищах (бібліотеки, навчальні установи, підприємства, фінансові організації тощо).

Кластер надає можливість автоматизованого пошуку необхідної інформації з легким налаштуванням користувачем апаратних ресурсів для виконання обробки. Пошук відбувається шляхом розпаралелювання масиву даних між декількома віртуальними машинами в рамках однієї фізичної машини або між декількома фізичними машинами в локальній мережі шляхом пропорційного ділення інформації. Обробка та пошук графічної інформації відбувається завдяки машинному навчанню.

Розроблений кластер дозволить прискорити пошук необхідної інформації у великих її обсягах, зменшить необхідність в людських ресурсах щодо роботи з нею, автоматизує деякі виробничі процеси роботи.

Кластер реалізований у вигляді програмного забезпечення. Воно дозволяє користувачам як самостійно, так і за замовчуванням, виділяти апаратні ресурси для виконання завдання локального пошуку та отримувати результат у вигляді файлу. Також кластер можливо модернізувати додатково в залежності від потреби специфічного пошуку.