検証方法の説明
1.降水の有無の検証(適中率(降水の有無、「降水あり」、「降水なし」)、見逃し率、空振り率、捕捉率、一致率)
【検証の対象としている予報と時間帯】
5時発表天気予報 | 今日(5-24時)、明日(0-24時) |
---|---|
17時発表天気予報 | 今夜(17-24時)、明日(0-24時)、明後日(0-24時) |
11時発表週間天気予報 | 3日目(0-24時)-7日目(0-24時)(5日間) |
- 予報区についてはこちらを参考にしてください。
- 天気予報検証結果や週間天気予報検証結果では、以下の地方予報区名称を簡略して表記しています。
- 九州北部地方(山口県を含む) → 九州北部地方
- 九州南部・奄美地方 → 九州南部地方
【検証方法】
- 個々の予報について予報と実況の降水の有無を比較し、予報区毎に1か月分を集計して検証しています。
- 地方予報区および全国の値は、発表官署の所在している発表区域に対して発表された予報の検証結果を集計して掲載しています。
実況の降水の有無は、観測された降水量により、以下の様にして判定しています。
降水量の観測値 | |
---|---|
降水あり | 1mm以上 (雪の場合は0.5mm以上) |
降水なし | 1mm未満 (雪の場合は0.5mm未満) |
降水の有無についての予報が適中しているのは以下の場合です。
- 「降水あり」と予報して、実況が「降水あり」となったとき(下表のA)
- 「降水なし」と予報して、実況が「降水なし」となったとき(下表のD)
【検証指数】
各検証指数の定義は以下の通りです。
予報と実況の対比表(分割表と呼びます)を作成して、それぞれの検証指数を数式で表すと次の様になります。
(N:全予報数)
ある予報についての適中率とは、予報区内のアメダス観測所毎に予報の適中、不適中を判定し、予報区内で平均した値のことです。
適中率 (降水の有無の適中率) | 総適中回数の全予報数に対する割合 |
---|---|
「降水あり」予報の適中率 | 予報が「降水あり」だった場合だけを取り出して、そのうち実況が「降水あり」と なった割合(一致率に同じ) |
「降水なし」予報の適中率 | 予報が「降水なし」だった場合だけを取り出して、そのうち実況が「降水なし」と なった割合 |
見逃し率 | 「見逃し」回数の全予報数に対する割合 「見逃し」とは、予報が「降水なし」だったのに実況が「降水あり」となった場合 |
空振り率 | 「空振り」回数の全予報数に対する割合 「空振り」とは、予報が「降水あり」だったのに実況が「降水なし」となった場合 |
捕捉率 | 実況が「降水あり」となった場合だけを取り出して、そのうち予報も「降水あり」 だった割合 |
一致率 | 予報が「降水あり」だった場合だけを取り出して、そのうち実況が「降水あり」と なった割合 (「降水あり」予報の適中率に同じ) |
- 「降水あり」予報とは、「雨」、「曇り一時雨」、「曇り時々雪」など降水のある予報のことで、
「降水なし」予報とは、「晴れ」、「曇り」、「晴れ時々曇り」など降水のない予報のことです。 - 予報が適中したときに注目した検証指数(適中率、捕捉率、一致率)は、100%に近いほど成績が良いことになります。
- 予報が適中しなかったときに注目した検証指数(見逃し率、空振り率)は、0%に近いほど成績が良いことになります。
予報と実況の対比表(分割表と呼びます)を作成して、それぞれの検証指数を数式で表すと次の様になります。
予 報 | ||||
---|---|---|---|---|
降水あり | 降水なし | 計 | ||
実況 | 降水あり | A | B | N1 = (A+B) |
降水なし | C | D | N2 = (C+D) | |
計 | M1 = (A+C) | M2 = (B+D) | N = (A+B+C+D) |
- 適中率(降水の有無の適中率)(%)=(A+D)÷N×100
- 「降水あり」予報の適中率(%) =A÷M1×100 (一致率に同じ)
- 「降水なし」予報の適中率(%) =D÷M2×100
- 見逃し率(%) =B÷N×100
- 空振り率(%) =C÷N×100
- 捕捉率(%) =A÷N1×100
- 一致率(%) =A÷M1×100 (「降水あり」予報の適中率に同じ)
ある予報についての適中率とは、予報区内のアメダス観測所毎に予報の適中、不適中を判定し、予報区内で平均した値のことです。
- 例えば、降水ありの予報の時、全10ヵ所の観測所の内8ヵ所で「降水あり」、2ヵ所で「降水なし」ならば、適中率は80%、空振り率は20%となります。
このように降水が予報区の一部分に限られるような場合は、適中率は100%にはなりません。 - これは、予報が降水を予想している場合に、80%の地域で降水があり20%の地域で降水がなければ、80%の地域の人には適中、20%の地域の人には空振りと感じるであろう、との考えに基づいています。
2.気温の検証(ME、RMSE)
【検証の対象としている予報と時間帯】
5時発表天気予報 | 今日日中(9-18時)の最高気温 |
---|---|
17時発表天気予報 | 明日日中(9-18時)の最高気温、明日朝(0-9時)の最低気温 |
11時発表週間天気予報 | 明後日(0-24時)-7日目(0-24時)の最高・最低気温 |
【検証方法】
- 個々の予報の誤差は、「(予報値)-(実況値)」で算出し、1か月分を集計して検証しています。
- 地方予報区および全国の値は、発表官署の所在する都市に対して発表された予報についての検証結果を平均して掲載しています。
【検証指数】
- 平均誤差(ME:Mean Error)
- 個々の予報の誤差をそのまま期間平均したものを平均誤差(ME)といい、バイアス(偏り)とも呼びます。
- 平均誤差は予報の系統的な偏りを示す指数です。平均誤差が0のとき、平均的にみて予報は正にも負にも偏っていないことを示しています。また、平均誤差が正(負)になるときは、期間平均では予報が実況よりも高かった(低かった)ことを示しています。
- ME = Σ(F(i)-A(i))÷N (F(i)は予報値、A(i)は実況値、Nは予報回数)
- 2乗平均平方根誤差(RMSE:Root Mean Square Error)
- 個々の予報の誤差を一旦2乗してから期間平均して、平方根をとったものを2乗平均平方根誤差(RMSE)といいます。
- 2乗平均平方根誤差は常に正の値となり、予報誤差の標準的な大きさを示す指数です。値が小さく0に近いほど予報精度が高いことを示しており、個々の予報の誤差の60%-70%は、±(2乗平均平方根誤差)の間に収まります。
- RMSE = SQRT(Σ(F(i)-A(i))**2÷N) (F(i)は予報値、A(i)は実況値、Nは予報回数)
3.降水確率の検証
【検証の対象としている予報と時間帯】
5時発表天気予報 及び 17時発表天気予報 | 6時間毎の降水確率 (5時発表予報は6時以降の24時間分、17時発表予報は18時以降の24時間分) |
---|
【検証方法】
- 個々の予報の10%刻みの階級毎に、対象時間における1mm以上の降水の有無(100%または0%)と比較し、3か月分を集計して検証しています。
- 地方予報区および全国の値は、発表官署の所在する発表区域に対して発表された降水確率予報の検証結果を集計して掲載しています。
【備考】
- 降水確率予報の精度検証は、「発表した降水確率予報値(10%刻みの階級)」に対して、各観測地点における「実際の降水の出現率(あり:100%、なし:0%)」をある期間で集計し、対象地域で平均しています。最適な降水確率予報だった場合、「発表した降水確率予報値(%)」と「実際に降水が観測された回数の割合(%)」とが等しくなるため、グラフでは傾きが1の直線関係になります。