データ活用促進のための技術開発
データ活用のためのスパコン-クラウド連携技術
リアルタイムデータ収集と高効率なデータ処理を容易に
時事刻々と収集される気象観測データと過去の観測データを合わせて高度な解析を行うためには、データの収集、蓄積、解析を行うネットワーク、ストレージ、計算機などの情報基盤が必要となります。大量のデータをリアルタイムで収集、蓄積し、さらに大量の計算が必要となる高度な処理を行うには、効率の良い情報基盤上に、必要に応じてダイナミックにアプリケーションを展開することが必要です。 データの収集、蓄積にはクラウド型の情報基盤が適しています。
クラウドは今日の情報社会を支える主要なインフラです。IaaS(Infrastructure as a Services)と呼ばれるクラウド環境では、アプリケーション実行者にあたかも自分専用の計算機やネットワーク、ストレージがあるかのような環境(仮想環境と呼ぶ)を提供します。クラウドを使いこなすことがデータ活用の鍵になります。クラウドの仮想基盤は常に利用可能で、データを確実に受け取りすぐに処理するのに向いています。
一方、高度なデータ解析のために大量の計算が必要となる場合は、クラウドよりもスパコン型の計算機環境が適しています。スパコンでは、処理要求の待ち行列を作って、計算機が空いたら次々に待ち行列上の処理を実行していきます。これをバッチスケジューリングと呼びます。次々に要求を処理していくので、空き時間が少なく、効率よく計算機を使うのに適しています。
本課題では、データ活用において典型的な処理を仮想環境上に簡単に展開する仕組みと、クラウド型の環境とスパコン型の環境を組み合わせて使う仕組みを構築します。また、クラウド型の仮想環境で収集・前処理したデータを、バッチスケジューリングを採用するスパコンに安全に受け渡し、高性能処理を行うソフトウェアシステムを開発します。本開発により、効率の良いデータ収集、蓄積、解析環境を容易に構築することが可能になります。

データ活用社会創成プラットフォームmdxとスパコンWisteria/BDEC-01