価値反復法はマルコフ決定過程を解きます。状態 s から始めて得られる割引報酬の合計の最大値 V(s) を求めます。
ここでは遷移は決定的です。状態 s で行動 a を取ると報酬 rewards[s][a] を得て状態 next_states[s][a] に移ります。-1 はエピソードの終了を意味します。すべての状態で V(s) = 0 から始め、iterations 回繰り返します。新しい値はすべて前回のスイープの値から計算します。
V_new(s) = a についての ( rewards[s][a] + gamma × V(next_states[s][a]) ) の最大値
ただし次の状態が -1 のとき、gamma × V の項は 0 です。
value_iteration(next_states, rewards, gamma, iterations) を実装してください。
入力
next_states: 各状態について、各行動の次の状態 (-1 はエピソード終了)。状態ごとに行動の数が異なることがあります。
rewards: 各行動の報酬。next_states と同じ形です。
gamma: 割引率。
iterations: スイープの回数。
出力
最後のスイープ後の V を、状態ごとに 1 つずつ返します。
制約
1 ≤ 状態数 ≤ 200、1 ≤ 状態あたりの行動数 ≤ 10、0 ≤ iterations ≤ 1,000
-100 ≤ 各報酬 ≤ 100、0 ≤ gamma ≤ 1
例
入力：
next_states = [
[0, 1],
[0, 2],
[-1]
]
rewards = [
[0.0, 0.0],
[0.0, 0.0],
[10.0]
]
gamma = 0.9
iterations = 3
期待される出力：
[8.1, 9.0, 10.0]解説
スイープ 1: 報酬を得られるのは状態 2 だけで V = [0, 0, 10]。スイープ 2: 状態 1 は右へ移って 0.9 × 10 = 9、V = [0, 9, 10]。スイープ 3: 状態 0 は 0.9 × 9 = 8.1。結果: [8.1, 9, 10]。
入力：
next_states = [
[1, 0],
[0, 1]
]
rewards = [
[1.0, 2.0],
[3.0, 0.0]
]
gamma = 0.0
iterations = 5
期待される出力：
[2.0, 3.0]解説
gamma = 0 では将来が考慮されないので、各状態の価値は最良の即時報酬そのものです: [2, 3]。
参考資料
-
例 1 未実行入力：
next_states = [ [0, 1], [0, 2], [-1] ] rewards = [ [0.0, 0.0], [0.0, 0.0], [10.0] ] gamma = 0.9 iterations = 3期待される出力：[8.1, 9.0, 10.0]あなたの出力 -
例 2 未実行入力：
next_states = [ [1, 0], [0, 1] ] rewards = [ [1.0, 2.0], [3.0, 0.0] ] gamma = 0.0 iterations = 5期待される出力：[2.0, 3.0]あなたの出力
提出時に非公開テスト4件も実行されます。 失敗したテストがあれば、そのテストが表示されます。チャレンジを解くとすべて見られます。
Online Rust Compiler
Write, compile, run, and debug Rust code online in a full-featured browser IDE. Work with multiple files, save your workspace, and share or collaborate in real time.
🦀 このRustオンライン実行ツールについて
CodeUtility Rust Executor は、ブラウザ上でRustコードをそのまま書いて実行できるツールです。 インストールやツールチェーンの準備、ローカル環境は不要です。安全なサンドボックス上で動作し、 実際のRustコンパイラ 1.70、1.72、1.73、1.74 に対応しています。
本ツールは本物の rustc コンパイラでクラウド上でコンパイル・実行するため、
正確で一貫した結果が得られます。変数、所有権、借用、パターンマッチ、トレイト、ジェネリクスなど
モダンなRustの機能を気軽に試せます。
Cargoのインストールやローカルのセットアップなしで、特にメモリ安全性、エラーハンドリング、並行処理など Rustのコア概念を学ぶのに最適です。すべてが数秒でブラウザ内で動作します。
同じ実行環境で、複数ファイル対応エディター、分離された実行ターミナル、ランタイム別ライブラリ、永続ワークスペース、共有、リアルタイム共同作業を利用できます。
この実行環境の使い方
ランタイムを選択し、ファイルを開くか作成してコードを記述し、［実行］を選択します。出力はターミナルに表示されます。サインインしたユーザーは、ワークスペースにファイルを保存し、ライブラリをインストールして、共有を通じて共同作業できます。
- バージョンを選択して現在のファイルを編集するか、ワークスペース内の別のファイルを開きます。
- コードを実行し、求められた場合はターミナルに入力して、保存された実行履歴を確認します。
- 複数のコードスニペットが必要な作業では、ライブラリ、ワークスペースツール、共有、チャットを利用します。
💡 Rustの基本と、上のエディタで試せるサンプル
1. 変数と定数の宣言
変数は let、定数は const、可変変数は mut を使います。
let x = 10;
let pi: f64 = 3.14;
let name = "Alice";
let is_active = true;
const MAX_USERS: u32 = 100;2. 条件分岐（if / match）
条件分岐は if、パターンマッチには match を使います。
let x = 2;
if x == 1 {
println!("One");
} else if x == 2 {
println!("Two");
} else {
println!("Other");
}
match x {
1 => println!("One"),
2 => println!("Two"),
_ => println!("Other"),
}3. ループ
Rust は for、while、無限 loop をサポートしています。
for i in 0..3 {
println!("{}", i);
}
let mut n = 3;
while n > 0 {
println!("{}", n);
n -= 1;
}4. 配列
Rustの固定長配列は角括弧で表します。ビューにはスライスを使います。
let nums = [10, 20, 30];
println!("{}", nums[1]);5. ベクタ（可変長配列）
Vec は可変長配列に使います。
let mut fruits = vec!["apple", "banana"];
fruits.push("cherry");
fruits.pop();
for fruit in &fruits {
println!("{}", fruit);
}6. コンソール入出力
出力は println!、入力は std::io を使います。
use std::io;
let mut name = String::new();
println!("Enter your name:");
io::stdin().read_line(&mut name).unwrap();
println!("Hello, {}", name.trim());7. 関数
関数は fn を使い、-> で戻り値の型を指定します。
fn greet(name: &str) -> String {
format!("Hello, {}", name)
}
println!("{}", greet("Alice"));8. HashMap
キーと値のデータには std::collections::HashMap を使います。
use std::collections::HashMap;
let mut person = HashMap::new();
person.insert("name", "Bob");
println!("{}", person["name"])9. エラー処理
Rustでは Result と match（または unwrap()）でエラーを扱います。
fn fail() -> Result<(), String> {
Err("Something went wrong".to_string())
}
match fail() {
Ok(_) => println!("Success"),
Err(e) => println!("{}", e),
}10. ファイルI/O
std::fs でファイルの読み書きを行います。
use std::fs;
fs::write("file.txt", "Hello File").unwrap();
let content = fs::read_to_string("file.txt").unwrap();
println!("{}", content);11. 文字列操作
Rustの文字列はヒープに確保され、多くのメソッドが使えます。
let mut text = String::from(" Hello Rust ");
println!("{}", text.trim());
println!("{}", text.to_uppercase());
text = text.replace("Hello", "Hi");
println!("{}", text);12. 構造体とメソッド
データ型には struct、メソッド定義には impl を使います。
struct Person {
name: String,
}
impl Person {
fn greet(&self) -> String {
format!("Hi, I'm {}", self.name)
}
}
let p = Person { name: "Alice".to_string() };
println!("{}", p.greet());13. 参照と借用
値の借用には &、可変参照には &mut を使います。
fn update(x: &mut i32) {
*x += 1;
}
let mut value = 10;
update(&mut value);
println!("{}", value);