На завершившейся на этой неделе суперкомпьютерной конференции Supercomputing Conference 2010 в США корпорация IBM представила детали, касающиеся новой архитектуры хранения данных для больших архивов. Новая технология позволяет анализировать и конвертировать терабайты данных в необходимые последовательности и создавать по ним отчеты по крайней мере вдвое быстрее, чем ранее существовавшие технологии.
Новая технология "идеально подходит" для облачных сред и рабочих сетей с интенсивными нагрузками, например сетей медиа-компаний, банков, работающих с терабайтными архивами, правительственных учреждений и финансово-аналитических компаний. В IBM говорят, что как правило, массивы данных размером в несколько терабайт во время составления тех или иных аналитических отчетов исследуются часами, новая же технология позволяет сократить это время до минут.
Использовать новую технологию IBM также будет в будущем поколении своих систем поддержки принятия решений и составлений отчетов для регуляторов.
Создана технология была в подразделении IBM Research на базе кластерной разработки General Parallel File System Shared Nothing Cluster (GPFS-SNS), ранее работавшей в распределенных приложениях критического уровня важности. Полагается система анализа на распределенную кластерную файловую систему, особым образом реплицирующую данные.
Как рассказали в IBM, технология анализа работает таким образом, что каждый узел системы полностью самодостаточен и выполняет работы таким образом, чтобы не дожидаться итогов вычислений предыдущего компьютера. Например, финансовый институт работает с алгоритмами анализа риска на основе архива, измеряемого петабайтами данных. Здесь миллиарды файлов распределены по разным частям сети и вычисления требуют значительных ИТ-затрат ввиду их комплексности. При помощи GPFS-SNC можно использовать единую динамическую файловую систему, работающую в облаке между разными узлами параллельно.
Источник: CyberSecurity
|
