Question 1

バッチ次元を保持しながら、xarray変数からバッチ座標を削除するにはどうすればよいですか？

Accepted Answer

次元を削除せずに次元座標を削除するには、`drop_vars()` を使用します：

```python
xr_dataset = xr_dataset.drop_vars("batch")
```

これにより、`batch` は `Temp` と `datetime` の次元として維持されますが、座標を持たない次元となり、NetCDF ファイルの例と一致します。

あるいは、Dataset を作成する際に `batch` を省略することもできます：

```python
coords = {
    "time": ("time", times),
    "channel": [0],
    "lon": ("lon", lons),
    "lat": ("lat", lats),
    "datetime": (("batch", "time"), [datetimes]),
}
```

`batch` 次元は `coords` で定義されていなくても、変数の形状から推論されます。

Question 2

GraphCastの運用ファインチューニングにはどのターゲットデータセットが使用されますか？

Accepted Answer

`GraphCast_operational`のファインチューニングでは、降水ターゲットはERA5から取得され、他のすべての変数にはHRES-fc0フィールドが使用されます。損失はGraphCastの出力とこれらの混合ターゲットとの間で計算され、すべての変数に対してERA5が使用されるわけではありません。

Question 3

Graphcastのインストール時に「AttributeError: module 'jax.stages' has no attribute 'OutInfo'」を修正する方法

Accepted Answer

これは、`master.zip` スナップショットに含まれる互換性のない Graphcast/JAX バージョンが原因で発生したもので、最近の Graphcast のコミットで修正されています。最新のソースを再インストールしてから、Python/Colab ランタイムを再起動してください:

```bash
pip install --upgrade --no-cache-dir https://github.com/google-deepmind/graphcast/archive/master.zip
```

あるいは、Git から直接インストールすることもできます:

```bash
pip install --upgrade --no-cache-dir git+https://github.com/google-deepmind/graphcast.git
```

インストール後、カーネル/ランタイムを再起動し、Graphcast を再度インポートしてください。環境で JAX のバージョンが固定（ピン留め）されている場合は、個別にアップグレードした JAX バージョンを使うのではなく、最新の Graphcast リリースと互換性のあるバージョンであることを確認してください。

Question 4

前処理と正規化を事前学習済みチェックポイントと一貫させながら、最新のERA5データでGraphCastを実行するにはどうすればよいですか？

Accepted Answer

公式に提供されている過去のGraphCast形式のデータのみを使用する必要はありません。まず、ERA5変換パイプラインを構築し、公式サンプルデータに対して検証してください。(1) 提供されているGraphCastサンプルデータセットですでにカバーされている日付について、生のERA5データをダウンロードします。(2) 事前学習済みモデルで使用されているものと同じ変数選択、気圧面、グリッド、単位、時間処理、および正規化を使用して変換します。(3) 出力を公式サンプルと比較し、完全に一致するまで繰り返します。(4) 変換器の検証が完了したら、変更のない同じコードをより新しいERA5解析データに対してそのまま実行します。この完全一致による検証は、最新の入力が事前学習済みチェックポイントと科学的にも技術的にも互換性があることを確認するための推奨される方法です。

Question 5

GraphCastの高解像度推論を、複数のGPUまたはTPU v3-8でメモリ不足に陥ることなく実行するにはどうすればよいですか？

Accepted Answer

GraphCastは現在、単一の予報に対するモデル並列推論をサポートしていません。`xarray_jax.pmap`はバッチ次元でのみデバイス間に処理を分散できるため、各デバイスは依然としてモデル全体を読み込みます。GNNをシャード化したり、1つの高解像度サンプルのメモリ使用量を削減したりすることはありません。少なくとも24 GBのメモリを搭載したGPUか、チップあたり32 GBを提供するTPU v4を使用してください。TPU v3はチップあたり16 GBしかなく、v3-8でもOOMになる可能性があります。より少ないメモリでの推論には、float32を使用してRTX 2080で0.25°解像度・37気圧レベルを実行したと報告しているコミュニティの`graphcast-lite`プロジェクトを試してみてください：https://github.com/VectorElectron/graphcast-lite。`pmap`は、バッチとして実行する複数の独立した予報がある場合にのみ使用してください。

weathernext

概要

README プレビュー

FAQ (5)

同类型项目

iptv

whisper

Kronos

TRELLIS.2