キーワードを入力し検索ボタンを押下ください。

確率予測資料の精度検証結果(異常天候早期警戒情報・1か月予報)

過去の事例を対象とした大規模な予報実験に基づく精度検証結果

ここでは、異常天候早期警戒情報および1か月予報の作成に利用する確率予測資料の精度検証結果(ただし、確率は10%単位)を示します。 1981年~2010年の毎月10日、20日、末日を初期値とする1080事例の数値予報実験に基づくものです。 異常天候早期警戒情報については、7日間平均気温が「かなり高い」あるいは「かなり低い」となる確率の予測を検証の対象としています。 また1か月予報については、28日間平均気温が「低い」「平年並」「高い」となる確率の予測を検証の対象としています。 それぞれ、全国の12地域(各地方予報区、ただし九州南部・奄美地方については、九州南部と奄美地方に細分)で集計したものです。

精度検証結果を信頼度曲線で示します。信頼度曲線とは、横軸に予測確率値をとり、縦軸にその予測確率値ごとの現象の出現率(予測の適中率)を順次プロットし、 点を結んだものです。各点が、傾き45゜の対角線上に乗っていれば、その予測確率値は実測からの偏りがなく、信頼できることになります。 逆に傾き45゜の対角線から離れていると予測確率値が実測から離れており、信頼できないことになります。

第1図は、異常天候早期警戒情報の確率予測資料提供日の5日後からの7日間平均気温が「かなり高い」あるいは「かなり低い」となる予測確率(2つの階級を集計)に関する信頼度曲線(赤)と予測頻度(緑)を示します。 この図から、信頼度曲線はおおむね右上がりで、予測確率値が大きくなると現象の出現率も高くなることがわかります。 また、すべての予測確率値に対して、信頼度曲線が傾き45゜の対角線上にほぼ乗っており、信頼性は高いといえます。 ただし、 予測確率が高くなるとともに予測頻度(緑)が低くなります。 予測確率値0%の予測頻度は約58%と高く、予測確率値30%の予測頻度は5%程度です。

第2図は、異常天候早期警戒情報の確率予測資料提供日の8日後からの7日間平均気温が「かなり高い」あるいは「かなり低い」となる予測確率(2つの階級を集計)に関する信頼度曲線(赤)と予測頻度(緑)を示します。 予測確率値70%程度までは予測確率値と現象の出現率がほぼ同程度となっています。 予測確率値100%では現象の出現率が低くなっていますが、予測頻度は2回(ほぼ0%)と小さいことから、統計的な有意性が低くなっています。

5日後の信頼度曲線
第1図 異常天候早期警戒情報の確率予測資料提供日の5日後からの7日間平均気温予測の信頼度曲線と予測頻度
横軸:予測確率値、縦軸:現象の出現率と予測頻度。信頼度曲線を赤線で、予測頻度を緑の棒グラフで示す。 棒グラフの上の数字は予測頻度の割合を表す。縦軸にある青い横線は検証期間における現象の頻度の割合を表す。 7日間平均気温が「かなり高い」あるいは「かなり低い」確率の予測を検証の対象とし、2つの階級を集計している。 全国の12地域(各地方予報区、ただし九州南部・奄美地方については、九州南部と奄美地方に細分)で集計。 1981年~2010年の毎月10日、20日、末日を初期値とする1080事例の数値予報実験に基づく。
8日後の信頼度曲線
第2図 異常天候早期警戒情報の確率予測資料提供日の8日後からの7日間平均気温予測の信頼度曲線と予測頻度
図の説明は第1図と同じ。
28日平均の信頼度曲線
第3図 1か月予報の確率予測資料提供日の翌々日からの28日間平均気温予測の信頼度曲線と予測頻度
図の説明は第1図と同じ。ただし、28日間平均気温が「低い」「平年並」「高い」確率の予測を検証の対象とし、3つの階級を集計している。

第3図は、1か月予報の確率予測資料提供日の翌々日からの28日間平均気温が「低い」「平年並」「高い」となる予測確率(3つの階級を集計)に関する信頼度曲線(赤)と予測頻度(緑)を示します。 この図から、信頼度曲線はおおむね右上がりで、予測確率値が高くなると現象の出現率も高くなることがわかります。 また、すべての予測確率値に対して、信頼度曲線が傾き45゜の対角線上にほぼ乗っており、信頼性は高いといえます。

以上から、異常天候早期警戒情報の確率予測資料における「かなり高い」あるいは「かなり低い」気温の予測は、予測頻度が一定程度ある予測確率の0~50%程度までみると、予測対象日にかかわらず信頼できることがわかります。 また、1か月予報の確率予測資料における各階級の予測は、すべての予測確率値に対して信頼性が高いことがわかります。

ここでは、過去の数値予報実験に基づく予測精度について説明しました。 異常天候早期警戒情報については、近年(2011年5月20日~2017年1月)の予測資料に対する検証結果を、 1か月予報についても、同期間の予測資料に対する検証結果を次に示しますので、これらの資料も参考にして精度を確認の上、確率予測資料をご利用下さい。

最近の精度検証結果

次に、異常天候早期警戒情報について、近年の精度検証結果(2011年5月20日~2017年1月発表分までの596事例に基づく)を示します。 7日間平均の地域平均気温が「かなり高い」となる予測確率の検証を第4図に、「かなり低い」となる予測確率の検証を第5図に示します。 また、1か月予報については、予報対象期間の28日間平均の地域平均気温が「高い」となる予測確率の検証を第6図に、「低い」となる予測確率の検証を第7図に示します。

7日間平均の地域平均気温が「かなり高い」となる予測確率の信頼度曲線(第4図)はおおむね右上がりで、予測確率値が高くなると現象の出現率も高くなることがわかります。 ただし、予測確率値60%では現象の出現率が予測確率値を10%程度、予測確率値30%や40%等では現象の出現率が予測確率値を5%程度上回る傾向があります。 これは、「かなり高い」の予測確率値に対して現象の出現率がより高いことを表しており、この範囲の確率予測資料は「かなり高い」の出現をやや過小評価しているといえます。 また、予測頻度は予測確率値0%や10%が高く、予測確率かそれより大きくなると予測頻度は小さくなり、予測確率値30%の予測頻度は8%となっています。

7日間平均の地域平均気温が「かなり低い」となる予測確率の信頼度曲線(第5図)は予測確率値20%までは信頼度曲線が対角線にほぼ沿っており、現象の出現率との偏りが小さく、予測確率値を信頼できることがわかります。 予測確率値50%~60%程度までは、現象の出現率も高くなるものの、予測確率値を10%程度下回っています。 なお、この範囲の予測頻度は0.2%~0.4%と小さいことから、統計的な有意性が低くなっています。 また、予測頻度は予測確率値30%で2.4%と、第4図の「かなり高い」場合に比べて半分以下となっています。 これは近年の高温傾向を反映して「かなり低い」の予測確率が出にくくなっているためと考えられます。 このことは、青線で示すこの期間の現象の出現率をみると、第4図の「かなり高い」が約16%に対して、 第5図の「かなり低い」が約5%と3分の1以下になっていることからもわかります。
また、予測確率値80%~90%程度では予測確率値を上回っていますが、予測頻度がそれぞれ10回以下(ほぼ0%)と非常に小さいことから、統計的な有意性が低くなっています。

以上の異常天候早期警戒情報の最近の精度検証結果から、確率予測資料の「かなり高い」及び「かなり低い」の予測確率値はおおむね信頼できますが、 「かなり高い」の確率予測値にはやや過小評価の傾向がみられ、「かなり低い」の確率予測値には60%程度まではやや過大評価がみられることがわかります。

「かなり高い」の信頼度曲線
第4図 7日間平均気温が「かなり高い」予測確率値の信頼度曲線と予測頻度
横軸:予測確率値、縦軸:現象の出現率と予測頻度。信頼度曲線を赤線で、予測頻度を緑の棒グラフで示す。 棒グラフの上の数字は予測頻度の割合を表す。縦軸にある青い横線は検証期間における現象の頻度の割合を表す。 7日間平均気温が「かなり高い」確率の予測を検証の対象とし、 全国の12地域(各地方予報区、ただし九州南部・奄美地方については、九州南部と奄美地方に細分)で集計。 対象期間は確率予測資料提供日の5日後から8日後までを集計。2011年5月20日~2017年1月の596事例に基づく。
「かなり低い」の信頼度曲線
第5図 7日間平均気温が「かなり低い」予測確率値の信頼度曲線と予測頻度
図の説明は第4図と同じ。ただし、7日間平均気温が「かなり低い」予測確率値の信頼度曲線と予測頻度。

28日間平均の地域平均気温が「高い」となる予測確率の信頼度曲線(第6図)は、おおむね右上がりで、予測確率値が大きくなると現象の出現率も高くなることがわかります。 ただし、予測頻度が相対的に多い予測確率値が30%から60%の範囲で、現象の出現率をやや上回る傾向があります。

28日間平均の地域平均気温が「低い」となる予測確率の信頼度曲線(第7図)は、おおむね右上がりで、予測確率値が高くなると現象の出現率も高くなることがわかります。 ただし、信頼度曲線の傾きが対角線よりも大きく、予測頻度が相対的に多い50%までは現象の出現率をやや下回る傾向がみられます。

以上の1か月予報における28日間平均気温の精度検証結果から、確率予測資料の「高い」及び「低い」の予測確率値はおおむね信頼できることがわかります。

「高い」の信頼度曲線
第6図 28日間平均気温が「高い」予測確率値の信頼度曲線と予測頻度
横軸:予測確率値、縦軸:現象の出現率と予測頻度。信頼度曲線を赤線で、予測頻度を緑の棒グラフで示す。 棒グラフの上の数字は予測頻度の割合を表す。縦軸にある青い横線は検証期間における現象の頻度の割合を表す。 28日間平均気温が「高い」確率の予測を検証の対象とし、全国の12地域(各地方予報区、ただし九州南部・奄美地方については、九州南部と奄美地方に細分)で集計。 2011年5月20日~2017年1月の298事例に基づく。
「低い」の信頼度曲線
第7図 28日間平均気温が「低い」予測確率値の信頼度曲線と予測頻度
図の説明は第6図と同じ。ただし、28日間平均気温が「低い」予測確率値の信頼度曲線と予測頻度。

このページのトップへ