Data Discovery – это сбор данных из различных источников и объединение их в единый пул, который можно быстро исследовать, оценить и проанализировать. Программное обеспечение такого класса дает возможность использования интерактивного графического интерфейса на основе “in-memory”. Бизнесу нужны простые, четкие и быстрые BI-системы, и Data Discovery были призваны стать альтернативой классическим системам бизнес-аналитики.

Если обобщить, то Data Discovery – это технология поиска сведений для проекта, основанных на данных. Данные при этом могут быть любые – от коммерческих до государственных, главное – знать их источники.  Часто именно DD используются в работе с исследованием больших массивов информации из соцсетей.

Появление

Впервые термин громко прозвучал в 2010 году и по сей момент не теряет своих позиций в списке перспективных технологий. Многие большие компании, среди которых Oracle, Tableau Software, QlikTech, Tibco Software, сделали особый акцент на Data Discovery и разрабатывают собственные программные продукты с вычислениями в оперативной памяти, дашбордами и др.

Особенности

Применение Data Discovery предполагает полное хранение в оперативной памяти всех обрабатываемых данных (архитектура “in-memory”). Высокая интерактивность таких систем обеспечивает не только высокую эффективность проводимого бизнес-анализа, но и гибкость.

Известная консалтинговая компания Gartner выделяет два класса продуктов, которые реализуют функционал DD:

• корпоративные BI
  основные разработчики – мегавендоры (вендоры-лидеры), покупатели – ИТ-службы/компании/департаменты.

Все идет сверху вниз: ИТ-моделирование, построение запросов к БД и ХД и др. Работа с пользователем идет через отчеты и приборные панели с отражением KPI;

• спецплатформы DD
  часто их разработчиками являются стартапы или небольшие компании.

Здесь другая система – снизу вверх. Пользовательский же интерфейс полон средств визуализации, развертывают решения часто сами пользователи.

Разница между классами достаточно велика и отражает различия в требованиях профильных служб и конкретных бизнес-пользователей. Да, разрыв сокращается, но пока эксперты не могут сказать, когда произойдет (и произойдет ли вообще) слияние. Предполагается возможная интеграция с системами Business Intelligence и становление DD их составной частью.

Одна из особенностей Data Discovery в том, что их использование часто сопряжено с текстами. Соответственно, акцент идет на дополнительные инструменты, без чего взаимодействовать с DD значительно сложнее. Это лингвистическое программное обеспечение, способное обрабатывать и анализировать тексты.

Преимущества

Среди основных преимуществ DD:

• выполнение кроссплатформенного поиска с помощью единого интерфейса;
• обеспечение контроля и конфиденциальности данных. Пользователь может искать только те данные в каталогах, на просмотр которых у него есть доступ;
• экономия на судебных разбирательствах за счет изменения данных;
• обнаружение редких корпоративных данных, которые могут оказать негативное влияние на компанию.

Перспективы Data Discovery

Big Data Discovery – метод анализа данных на основе комбинации технологий и методов Big Data, Data Discovery и Data Science. В отличие от DD, Big Data Discovery опирается на машинное обучение и искусственный интеллект для анализа и независимого предоставления информации.

Smart Data Discovery (SDD), как и предыдущий метод, при выполнении анализа данных базируется на Machine Learning и Artificial intelligence, но предполагает большее влияние пользователя.