1 引言

集合预报是单一确定论预报向多值概率论预报转换的关键技术 (杜均和邓国, 2010; 杜均和陈静, 2010)。在集合预报出现之前, 概率预报通常是通过统计方法产生的 (Wilks, 2005), 但统计概率预报具有显著的缺陷, 它仅仅反映过去发生的天气状态。统计方法可以消除系统性误差, 但却无法消除随机性误差, 而集合预报能够消除随天气系统演变的随机性误差, 它的每个成员代表了天气状况发生的一种可能, 预报结果的不确定性可以通过预报成员的概率密度函数来体现, 从而实现更具有动力学意义的概率预报 (Stephenson et al, 2005)。这种概率预报能给预报人员提供更有价值的天气信息, 服务于实际预报业务。

无论预报系统本身多么优秀, 对预报系统及其产品进行客观评估, 仍然是获得有效的判别指标 (潘留杰等, 2014a, 2014b; 郝民等, 2011; 许建伟等, 2014; 刘佳等, 2014; 张利红和何光碧, 2014) 和提高预报水平的重要因素 (薛春芳和潘留杰, 2016; 何由等, 2012; 何晓凤等, 2014; 牛金龙等, 2014)。概率预报评估中最通用的方法是计算Brier评分, 它反映的是预报概率与通过给定阈值将观测划分为0或1两种情况下的平方差。Brier评分的主要不足在于尽管它能反映概率预报系统的优劣, 但在实际业务中很难提供简明的判别标准。1973年Murphy (1973)将Brier评分分解为:可靠性、分辨能力、不确定项三部分, 从而使其物理意义更加清晰。在实际应用中, 首先是发展了可靠性图 (R_eliability diagram), 用来反映预报概率相对于观测频率的差异 (Hamill and Colucci, 1997); 其次是出现了区分概率预报命中率和空报率的ROC (R_elative operating characteristic) 分析图 (Murphy, 1993), ROC分析是信号探测理论在预报检验评估中的应用, 它通过计算预报的命中率和空报率来区分预报系统对事件发生或者不发生的分辨能力, 从而使用户能够定量把握命中率和空报率所占比重。国内也开展了一些集合预报及其概率预报的检验评估工作, 段明铿等 (2012)使用NCEP集合预报系统 (EPS) 及其对应的再分析资料评估了模式在亚欧和北美地区500 hPa位势高度的预报性能差异; 刘永和等 (2013)利用全球多模式集合预报TIGGE资料评估了模式在沂沭河流域的6 h降水预报性能; 王敏等 (2012)对国家气象中心区域集合预报系统的2 m温度预报结果开展了一阶偏差和二阶离散度的校准研究, 并检验了其预报效果; 赵琳娜等 (2010)利用2008年7月1日至8月6日TIGGE集合预报资料评估了ECMWF、NCEP和CMA三家模式对淮河流域上游19个自动气象观测站的降水预报性能。这些工作极大的促进了集合预报相关技术在我国的发展和应用, 但总体来说, 我国在集合预报业务方面的研究和应用还远远不够。

近两年来, ECMWF集合预报及其概率预报产品在气象预报业务中受到极大的欢迎, 特别是降水概率预报产品, 客观上为用户提供了降水发生可能性的大小及其量级的可能振荡范围, 解决了预报员在降水量级可能变化幅度上的“拍脑袋”问题。但一方面由于概率预报产品在国内的应用时间相对较短, 用户对模式的预报性能还不十分清楚; 另一方面, 概率预报和确定性预报在预报性能检验方法上存在较大的差异。因此, 目前国内还没有针对ECMWF集合预报系统的降水概率产品长期预报能力的客观评估。本文以国家气象信息中心的CMORPH (NOAA Climate Prediction Center Morphing Method) 卫星与自动气象观测站的逐小时降水量融合产品为参照, 客观评估ECMWF集合预报对我国中部地区降水概率的预报能力, 以期为预报业务提供参考。

1.1 资料

观测资料采用中国气象科学数据信息网CMORPH (NOAA Climate Prediction Center Morphing Method) 卫星与全国3万多个自动观测站的逐时降水量融合产品 (http: //www.escience.gov.cn/metdata/page/index.html), 时段为2013、2014年5-10月, 空间分辨率0.1 °×0.1 °。有研究表明 (潘旸等, 2012), CMORPH卫星与自动站降水融合资料在我国夏季24 h累计降水平均偏差为-0.035 mm, 相关系数达0.908, 能够真实的表现实际降水分布, 可以作为参照物来评估模式的预报性能。

模式数据为同时期每日12:00(世界时, 下同) 起报的ECMWF降水集合预报产品, 集合成员数51个, 原始压码数据中编号为0~50, 其中0号成员为控制预报。模式分辨率为0.5 °×0.5 °, 为了方便处理, 插值空间分辨率成与观测一致的0.1 °×0.1 °。研究区域 (图 1) 设为我国的中部地区 (28°N41°N, 100°E118°E)。

1.2 方法

首先计算Brier评分及其分解项来评估模式的整体预报性能; 其次采用Talagrand图来衡量集合预报成员与观测值离散程度的分布差异, 以此判别预报成员的发散程度和可靠性。Brier评分 (BS) 及其分解计算公式分别如下:

$ \text{BS = }\frac{\text{1}}{N}\sum\limits_{i=1}^{N}{{{\left( {{p}_{i}}-{{o}_{i}} \right)}^{2}}={{R}_{\text{el}}}-{{R}_{\text{es}}}+{{U}_{\text{ncer}}}}, $

(1)

式中: N表示样本的大小, p_i表示设定阈值降水的预报概率, o_i表示对应阈值降水的观测, 超过阈值时值为1, 否则为0。分解后的三项分别为可靠性项R_el, 分辨能力项R_es和不确定项U_ncer, 其中:

$ \left\{ \begin{align} & {{R}_{\text{el}}}=\frac{\text{1}}{N}\sum\limits_{k=1}^{b}{\sum\limits_{i=1}^{{{N}_{k}}}{{{\left( {{p}_{k}}-{{{\bar{o}}}_{k}} \right)}^{2}}}} \\ & {{R}_{\text{es}}}=\frac{\text{1}}{N}\sum\limits_{k=1}^{b}{\sum\limits_{i=1}^{{{N}_{k}}}{{{\left( {{{\bar{o}}}_{k}}-\bar{o} \right)}^{2}}}} \\ & {{R}_{\text{ncer}}}=\frac{\text{1}}{N}\sum\limits_{k=1}^{b}{\sum\limits_{i=1}^{{{N}_{k}}}{{{\left( {{{\bar{o}}}_{k}}-{{{\bar{o}}}_{ki}} \right)}^{2}}}}{{o}_{i}} \\ \end{align} \right., $

(2)

式中: b表示概率区间分割数, p_k表示第k个区间内的平均概率预报, o_k表示落在第k个概率区间内的概率值预报成功的平均观测频率, 为全部的平均观测频率, o_ki表示落在第k个概率区间内的第i个观测。

最后通过ROC分析来寻找实际的预报指标, 并通过ROC面积进行总结, ROC面积的计算公式如下:

$ RO{{C}_{\text{AUC}}}=\frac{1}{2}\sum\limits_{i=1}^{b}{\text{(}Po{{d}_{i+1}}+Po{{d}_{i}}\text{)(}Pof{{d}_{i+1}}-Pof{{d}_{i}}\text{)}}, $

(3)

式中: ROC_AUC表示ROC面积, Pod_i、Pofd_i分别表示第i个概率区间内的命中率和空报率。

2 结果分析

在讨论概率技巧评分之前, 先简要阐述概率预报在整个时段内的整体表现。为了表述方便, 仅分析12 h、24 h两种间隔的累计降水量, 不同时段间隔的降水分级判别标准与惯常标准一致。需要说明的是, 在分析预报概率与观测频率的空间差异时, 24 h采用的是模式起报时刻之后的24~48 h (第2天) 的降水概率, 12 h则为24~36 h, 36~48 h两个时段的降水概率预报平均值。而在分析1~15天降水预报概率技巧时, 统一检验是逐日降水概率 (24 h) 和以12 h为间隔的一天内降水概率平均值的预报技巧。

从观测结果来看, 研究区域西南部为降水频率高值区, 并由西南向东北逐渐递减。12 h西南部观测降水发生的频率最大达0.6以上 (图 2a), 24 h则达到0.76以上 (图 2c)。值得注意的是, 无论在12 h还是24 h观测降水发生频率空间分布图上, 与内蒙交界的陕西北部地区均为小雨触发频率相对高值区, 而其东西两侧则相对较低, 在河北南部以及宁夏西北部的内蒙地区小雨发生频率降低到0.2以下, 东北部形成了一个“Ω”形的高脊。模式预报整体较好的刻画了小雨发生频率的空间分布形态, 由西南部向东北部递减的趋势与观测基本一致, 高、低值中心也与观测吻合较好, 主要不足在于模式预报的小雨发生频率系统性的偏高0.2以上, 此外模式对陕北北部与内蒙交界处高值区的预报位置偏东。

与小雨发生频率空间分布不同, 暴雨发生频率高值区主要位于陕西南部与重庆、四川的交界处, 此外河南和安徽的交界处、湖北东部为第二大值区。暴雨观测的大值中心12、24 h发生频率分别达到0.032 (图 2b) 和0.05以上 (图 2d)。模式预报的空间表现整体与观测一致, 但暴雨发生频率存在系统性的偏差, 暴雨频率高值中心平均偏少4倍以上, 而在研究区域的西北部, 24 h暴雨偏少频次达一个量级以上。

2.1 Brier评分及其分解

利用“二分法”将给定阈值的观测降水归类为“0”和“1”两种状态, 并计算其与预报概率的平方差就可以得到Brier评分。Brier评分及其分解项R_el是一种负向的评分指数, 当Brier分值越低时表示其预报效果越好, 但Brier评分对事件发生的气候频率敏感, 因此对极端天气事件来说, Brier评分有较好的表现, 并不表示具有实际的预报技巧, 但对概率预报来说, Brier评分仍然是评估降水概率预报能力的一个重要指数。需要说明的是, 检验时使用的是单向阈值, 这就是说当模式预报降水概率 > 0 mm, 无论观测发生多大量级的降水, 小雨即为预报正确, 其余类推。

图 3给出了Brier评分及其分解项可靠性和分辨能力随预报时效的演变图, 需要说明的是对Brier评分的不确定性项U_ncer来说, 并没有理想值, 因此不做分析。图 3显示, 模式对小雨量级降水的Brier预报评分显著优于大雨和暴雨。从时间演变上来看, 预报时效为2天时, 12 h降水Brier评分突然增大, 预报效果变差。对12 h小雨预报来说, Brier评分在2~10天之间表现稳定 (图 3a), 甚至有所减小, 而对大雨和暴雨量级的降水来说, 2天之后的Brier评分整体为减小趋势。其分解项可靠性R_el的表现基本与Brier评分一致 (图 3b)。

模式对12 h大雨和暴雨基本没有分辨能力 (图 3c)。因此, 就Brier评分来看, 模式对不同量级的降水1天之内的预报效果均为最好。对小雨来说, 2~10天的预报性能基本相当; 对大雨或暴雨来说, 尽管随着时效的增加Brier评分和可靠性有较好的表现, 但由于其分辨能力接近于0, 其预报性能的优劣是不确定的。

不同量级降水的24 h Brier评分的时间演变与12 h整体是一致的。从数值上来看, 小雨量级的降水的Brier评分较12 h略偏高, 12 h大雨和暴雨量级降水的Brier评分略偏低。值得重点关注的是在第11天, 12 h所有量级降水的Brier评分、可靠性显著变差, 分辨能力明显下降。而对24 h来说, 该时段的暴雨Brier评分、可靠性略有提高, 但其小雨量级降水的预报性能变差。分析其原因发现, 模式第11天的集合成员的概率分布做了较大调整, 这一点在将后续章节中具体阐述。

2.2 可靠性分析

按照集合预报“成员等同性”(equal-likelihood) 原则, 每个集合成员的预报准确率应该大致相同 (Hamill, 1997), 然而由于集合成员的发散度出现偏差, 系统中每个成员与观测的匹配程度并不相同。为了表示观测与集合预报成员的概率分布差异, 发展了Talagrand分布直方图 (Hamill, 2001)。计算Talagrand分布时首先把N个集合成员的预报值从小到大的顺序排列, 进而判断观测值落在某个区间的频率。按照这一原则, ECMWF的51个集合预报成员非降序排列后可划分为52个区间, 观测值落在每个区间的理想概率为0.019。

图 4给出了模式12 h间隔降水预报的Talagrand图, 为了表示方便, 仅绘制了奇数天Talagrand图的区间分布, 图中黑色直线表示理想情况下的分布曲线。整体看来, 模式预报的Talagrand分布与理想情况下的概率期望值还存在一定的差距, 两端值特别是左端值均明显偏大, 预报时效为1天的第一个区间的观测值落在理想曲线之外的概率偏大16%左右。按照Talagrand图的原理, 落在第一个区间和最后一个区间的分别表示集合预报结果整体偏大 (小), 表明模式对小量级降水预报频次整体偏多, 概率偏大, 而对大量级的降水频次预报偏少, 概率偏低, 这与图 2的表现结果具有一致性。比较不同预报天数的Talagrand分布, 发现随着预报时效的增加, 小量级降水预报频次偏多, 大量级的降水频次预报偏少的情况还有所改善。因此就Talagrand图来看, 距预报初始时刻越近, 其成员的概率分布表现反而较差, 时效较远, 不同量级降水与观测频率的匹配程度较为一致 (更加可靠)。但Talagrand图只考虑区域内预报与观测频次的匹配, 不关心空报和漏报的情况, 因此并不反映实际的预报效果。

已有的研究 (Hamill, 2001) 表明, 当Talagrand图呈“U”型分布时, 集合成员的发散度存在不足, 而当集合成员的发散度偏大时则为“钟型”分布。图 4表明ECWMF也存在集合预报系统发散度不足的普遍问题。注意到模式第11天的概率分布与其它预报时效呈现出显著差异, 分析温度、气压等其它要素时都表现出相同的结果 (图略), 分析认为第11天模式可能对集合成员的发散度有所调整, 但这只是一种推论, 且无法验证, 另一种可能性为第11天模式加入了海气耦合方案的作用。

前4天的逐24 h的Talagrand图表现如图 5所示, 可以看出前4天Talagrand图的演变与奇数天12 h间隔的Talagrand图 (图 4) 的前期表现基本一致。第一天 (图 5a), 模式在量级较小的降水预报频次偏多的情况最为明显, 落在第一区间的概率为0.186, 随着预报时效的增加则显著减小, 第2至第4天分别降为0.167、0.148和0.126。因此, 从日降水量预报来看, 模式同样表现出了初期小量级降水预报概率偏大, 大量级降水预报概率偏小的特性, 随着时效的增加, 不同区间的预报概率与观测频率的匹配程度较为一致。

2.3 ROC (Relat ive Operating Characteristic) 分析

ROC分析是通过计算预报的命中率和空报率来描述概率预报系统预报能力的一种方法。它是信号探测理论在预报检验中的应用。对确定性预报而言, 通过计算获得的命中率和空报率是一个给定的值, 而对概率预报首先需要对预报概率进行转换, 当预报概率不小于概率阈值时, 认为预报天气事件发生, 否则不发生; 然后然后利用概率阈值将概率转化为确定性预报。

ROC图中每条曲线上的点由不同概率阈值下的命中率和空报率确定, 自右上角到左下角的点包括点分别对应概率阈值大于0.05, 0.1, 0.15, 0.2, …, 1.0时的命中率和空报率, 当预报曲线越靠近对角线或在对角线右侧时, 表示命中率等于或低于空报率, 无预报技巧, 反之越靠近理想曲线表示预报效果越好。图 6给出了预报时效为15天的12 h不同量级降水的ROC分析图, 需要说明的是, 12 h命中率和空报率为一天内前后两个时段的平均值。降水的ROC曲线显示, 除第11天外, 随着预报时效的增加, ROC曲线整体逐渐向对角线靠近, 预报性能下降。对第11天的预报来说, 其预报性能比第15天预报还差, 预报性能较低。比较12 h、24 h (图略) 第11天ROC曲线向对角线的靠近程度, 发现12 h略优于24 h预报, 可能的原因是第11天24 h集合成员调整的幅度更大, 这与集合预报成员的Talagrand分布具有一致性 (图 4)。

比较12、24 h (图略) ROC曲线, 发现对小雨来说, 24 h预报性能优于12 h。当预报时效为1天, 降水概率为5%以上时, 12 h时效命中率、空报率分别为0.887和0.581 (图 6a), 而24时效的命中率和空报率分别为0.922和0.636;当预报概率 > 0.95, 12、24 h命中率分别为0.483和0.545, 空报率分别为0.147和0.136。这种情况对高概率预报来说表现基本一致, 24 h命中率较12 h偏高, 空报率偏低, 预报效果较好。

与小雨ROC曲线相比较 (图 6a), 中雨ROC曲线 (图 6b) 在低概率区的空报率偏高, 但命中率略好于小雨, 从ROC曲线靠近理想曲线的程度来看, 模式对中雨量级降水的概率预报优于小雨。出现这种情况有两方面的原因, 首先是尽管检验的时段是相同的, 但分级后不同量级降水的样本数量仍然存在较大差异; 其次ROC曲线中同一集合预报系统的不同量级降水概率的性能不能简单比较, 譬如当概率均为5%时, 模式对小雨的命中率为84%, 空报率为0.59, 而中雨的命中率、空报率分别为0.87和0.65, 因此很难判别两者的优劣。同样, 当预报时效增加时, 预报对概率 < 15%时的大雨 (图 6c), ROC曲线位于对角线以下, 基本无预报性能; 而当概率高于0.95时, 24 h大雨命中率、空报率分别为0.746和0.344, 12 h命中率、空报率分别为0.678和0.274, 表现出类似的问题。对于暴雨预报而言, 预报时效越长, 低概率区ROC曲线位于对角线下方的概率预报区间就越长。暴雨概率>5%, 预报时效1天时, 12 h的空报率和命中率分别为0.833和0.687; 24 h分别为0.837和0.768, 具有一定的暴雨预报能力。而当预报时效为2天时, 空报率基本等于命中率。到第15天, 概率 < 40%, 则完全没有预报能力。

ROC面积就是ROC曲线下方包围的面积。与上述分析相对应, 理想预报结果的ROC面积为1, 面积越小则预报效果越差; 当ROC面积 < 0.5时, 说明系统的预报效果还不如气候预测。图 7给出了1~15天的12、24 h不同量级降水的ROC面积, 可以看出12 h预报的ROC面积均 > 0.5以上 (图 7a); 而对于24 h来说, 第11天的暴雨预报ROC面积仅为0.482 (图 7b), 对暴雨无预报能力, 此外集合成员发散度的调整也在ROC面积中表现明显, 无论是小雨还是暴雨, 第11天的ROC面积均急剧下降, 预报能力显著变弱。1~12天的小雨、大雨12小时预报的ROC面积基本一致 (图 7a), 在第13天之后才小雨预报ROC面积才略高于大雨, 但两者均远高于暴雨的ROC面积。24 h大雨、暴雨ROC面积和12 h基本一致, 但24 h大雨的ROC面积显著优于小雨。比较12 h、24 h不同量级的ROC面积, 发现除第11天外, 模式对24 h降水预报的ROC曲线总是优于12 h。因此, 整体来说24 h的降水概率预报性能较好。

3 结论和讨论

集合数值预报不仅改变了用户的传统观念, 也是目前天气预报研究及业务中的热点方向, 特别是集合预报系统 (EPS) 提供的概率预报客观上解决了预报业务中对极端天气不确定因素的判定, 得到了各级预报业务人员的广泛认可和普遍应用。本文以国家气象信息中心的CMORPH (NOAA Climate Prediction Center Morphing Method) 卫星与自动气象观测站的逐小时降水量融合产品为参照物, 采用Brier评分、Talagrand分布、ROC分析等方法, 评估2013、2014年欧洲中期天气预报中心ECMWF集合预报系统对我国中部地区的降水概率预报性能, 主要结论如下:

(1) 模式预报整体上能够较好的把握不同量级降水的空间分布形态, 准确刻画了研究区域小雨发生频率由西南向东北逐渐递减以及陕西南部与重庆、四川的交界处的暴雨频率高发区, 但降水频次与观测存在较大的差异, 具体来说, 小雨预报概率较观测频率系统性的偏高0.2以上, 暴雨预报概率较观测频率至少偏低4倍以上。这种预报概率和观测频率上的差异也为实际预报业务提供了一定的思路, 对小雨预报来说, 由于预报概率较观测频率偏高, 因此实际使用时, 可以考虑当模式给出的概率值大一些的时候, 预报小雨发生, 相反, 对暴雨来说, 可以考虑概率值略小一些, 这也符合大降水预报中的“宁空勿漏”原则。

(2) Brier评分表明模式对小雨具有稳定的预报技巧, 分辨能力强, 随着预报时效的增加, Brier评分缓慢增大, 预报技巧降低。对大雨及暴雨以上量级的降水来说, 预报性能急剧减弱, 其原因主要是一方面预报的可靠性变差, 另一方面是分辨能力不足, 无法从气候背景中分辨出降水事件。集合成员的发散度整体表现不足, Talagrand图呈“U”型分布。Talagrand图落在第一个区间和最后一个区间的预报频次偏大, 表明模式对小量级降水预报频次整体偏多, 概率偏大, 而对大量级的降水频次预报偏少, 概率偏低; 这也和降水预报概率的空间分布在量级上的表现特性比较一致, 对业务中定性选择概率阈值来预报可能发生的降水有一定的指导意义。随着预报时效的增加, Talagrand分布逐渐向理想曲线靠拢, 小量级降水预报频次偏多, 大量级的降水频次预报偏少的情况有所改善; 第11天, 预报系统的集合成员分布函数发生变化, Talagrand呈“钟”型分布, 导致模式预报性能整体下降。

(3) ROC分析表明, 模式在高概率区, 命中率高、空报率低, 预报技巧好。在低概率区, 预报技巧显著下降。对小雨来说, 随着时效的增加, 预报技巧逐渐趋于气候概率; 对暴雨而言, 预报日数超过2天后, 12 h (24 h) 降水概率 < 30%(40%) 时, 预报技巧低于气候概率, 没有参考价值。ROC面积表明, 小雨24 h降水概率预报技巧优于12 h; 对暴雨而言, 前6天12 h降水概率预报的ROC面积较24 h表现较好, 但整体没有一致性变化趋势, 这在ROC曲线图上也有相同的表现。

本文评估了2013、2014年5-10月ECMWF集合预报系统在我国中部地区的降水概率预报性能。需要说明的是, ECMWF集合预报资料十分庞大, 导致数据处理和评估非常困难, 本文解码的2013、2014年510月的ECMWF原始压码资料单个文件为167 M, 总资料量达2880 GB, 客观上增加了检验的难度。尽管更长时间的资料的评估更有意义, 但一方面模式在不断的发展, 另一方面, 从统计学上来看, 初始预报时次长达12个月的逐15天降水预报检验结果是可信的。此外, 本文重点阐述了模式的降水概率预报性能, 其它诸如温度、风场等要素的客观检验有待进一步展开。