科学工作流kepler和其应用.pptVIP

科学工作流kepler及其应用 周园春、林小光、程洁 黄刚、王鹏飞、屈侠 2008-10-28 背景 工作流概述 科学工作流系统简介 Kepler系统及其应用 基于Web的科学工作流 背景 海量科学数据 数字化技术和无处不在的网络发展推动了数据的收集、产生、共享、与分析。 科学数据规模越来越庞大，科学实验过程也越来越复杂。 科学与工程研究日益成为数据密集型的工作。 背景 超级计算环境 与观察实验、理论分析鼎足而立的科学计算已成为e-Science的核心。 现今很多交叉和前沿学科的研究越来越需要高性能计算，如大气科学计算、生命科学计算、湍流计算、分子模拟等。 由于这些研究所需的数据资源和计算资源非常庞大，目前各研究机构很难为这些科研需求提供足够的资源，导致了很多研究无法往前推进。 背景 科学密集型实验迭代的科学数据处理流程 背景 动态的科学逻辑处理过程 虽然数据密集型科学问题的求解过程也遵循一定的基本流程，但是整个过程中的诸多细节却是动态的、不确定的，科学实验流程的定义往往是不完整的，在执行过程中也需要根据实验流程的运行态势做出动态修改。 工作流概述 商业工作流 工作流的概念起源于办公自动化领域。它所关注的问题是处理过程的自动化，它根据一系列定义的规则，把文档、信息或任务在参与者之间传递，以达到某种目的。 工作流管理联盟（WfMC）对工作流的定义：一类能够完全或者部分自动执行的经营过程，根据一系列过程规则、文档、信息或任务能够在不同的执行者之间传递、执行。 工作流概述 商业工作流 经营过程的一个计算机实现。 工作流管理软件（WfMS）是一个软件系统。用以完成工作流的定义和管理，并按照在计算机中预先定义好的工作流逻辑推进工作流实例的执行。运行在一个或多个工作流引擎上。与工作流执行者交互，推进工作流实例的执行，并监控工作流的运行状态。 工作流概述 科学工作流 2O世纪9O年代，随着问题求解环境(PSE)在科学研究活动中的应用，科学工作流和科学工作流管理被引入到科学问题求解环境中。 科学工作流就是采用工作流的思想，用来描述和控制科学实验和过程的执行，它是面向e-Science，服务于科学家，使得科学家能够更容易的分析和管理科学数据。 工作流概述 科学工作流 科学工作流是获取科学数据（包括传感器数据、医学影像、卫星图像、仿真输出、各类观测数据等等），并对所获取到的数据执行复杂分析的灵活的工具。 目的在于组合一个广阔领域的应用程序，从实验的设计、执行、监控到归档，以及使得实验数据重用等的管理和分析流水线化。 工作流概述 科学工作流 Streaming/pipelined execution Highly data-centric Compute-intensive Analysis-intensive Visualization-intensive Interconnection between multiple tools 工作流概述 商业工作流 VS. 科学工作流 科学工作流面向数据量，以数据驱动 商业工作流面向控制流，事务驱动 科学工作流系统介绍 国际上比较成熟的科学工作流系统： 学术领域的： Kepler Taverna Triana 商业性质的： DiscoveryNet Pipeline-Pilot LabView 科学工作流系统介绍 Kepler Open-Source，Java 圣地亚哥超算中心 地学、生物信息学、化学等 科学工作流系统介绍 Taverna Open-source，Java OMII-UK 生物信息学 科学工作流系统介绍 Triana Open-Source，Java Cardiff University, UK 信号、文本、图片处理 科学工作流系统介绍 商业性质科学工作流 科学工作流系统介绍 国内相关研究现状 目前，国内在科学工作流领域的研究尚处于起步阶段。 许多具体领域的研究机构已经开始着手使用国际上成熟的科学工作流系统（如Kepler等）进行涉及科学数据处理的大规模复杂科学实验。 一些大学及研究所也开始对科学工作流系统进行了针对性研究，比如武汉大学软件工程国家重点实验室、南京大学计算机软件新技术国家重点实验室等。 Kepler系统 Kepler允许科学家设计科学工作流，并使用基于网格的分布式计算方法执行这些工作流。 Kepler是用于科学数据分析与建模的软件应用程序。Kepler使用一个可视化展现（科学工作流模型，用以展示离散分析和建模组件之间的数据流），使得创建可执行模型的过程简单化。 Kepler系统 Kepler用户即使没有计算机科学背景，也可以使用标准组件来生成工作流，或者修改现有的工作流模型以满足需要。 Kepler集成了一些通用数据分析及可视化软件