Q 学習は、各状態で各行動がどれだけ良いか Q(s, a) を経験だけから学習します。状態 s で行動 a を取り、reward を受け取って状態 s' に移ったら:
- エピソードが終了した場合 (
done= 1) は target = reward - そうでなければ target = reward + gamma × (a' についての Q(s', a') の最大値)
- Q(s, a) ← Q(s, a) + alpha × (target - Q(s, a))
すべての Q 値を 0 から始め、遷移を順に適用します。
q_learning(num_states, num_actions, transitions, alpha, gamma) を実装してください。
入力
num_states, num_actions: 表の大きさ。
transitions: 1 ステップにつき 1 行の [state, action, reward, next_state, done]。
alpha: 学習率。
gamma: 割引率。
出力
状態ごとに 1 行、行動ごとに 1 列の行列として Q 表を返します。
制約
1 ≤ num_states, num_actions ≤ 100、0 ≤ 遷移の数 ≤ 10,000
-100 ≤ reward ≤ 100、done は 0 または 1
0 < alpha ≤ 1、0 ≤ gamma ≤ 1
例
入力：
num_states = 2
num_actions = 2
transitions = [
[0, 1, 0, 1, 0],
[1, 0, 10, 0, 1]
]
alpha = 0.5
gamma = 0.9
期待される出力：
[
[0.0, 0.0],
[5.0, 0.0]
]解説
最初のステップではまだ報酬がありません。target = 0 + 0.9 × max(Q[1]) = 0 なので Q[0][1] は 0 のままです。2 番目のステップは報酬 10 でエピソードを終えます。Q[1][0] = 0 + 0.5 × (10 - 0) = 5。
入力：
num_states = 2
num_actions = 2
transitions = [
[1, 0, 10, 0, 1],
[0, 1, 0, 1, 0]
]
alpha = 0.5
gamma = 0.9
期待される出力：
[
[0.0, 2.25],
[5.0, 0.0]
]解説
同じステップを逆の順に適用します。先に Q[1][0] が 5 になるので、状態 0 からのステップはそれを参照できます。target = 0 + 0.9 × 5 = 4.5、Q[0][1] = 0.5 × 4.5 = 2.25。報酬が 1 つ前の状態へ伝わりました。
参考資料
-
例 1 未実行入力：
num_states = 2 num_actions = 2 transitions = [ [0, 1, 0, 1, 0], [1, 0, 10, 0, 1] ] alpha = 0.5 gamma = 0.9期待される出力：[ [0.0, 0.0], [5.0, 0.0] ]あなたの出力 -
例 2 未実行入力：
num_states = 2 num_actions = 2 transitions = [ [1, 0, 10, 0, 1], [0, 1, 0, 1, 0] ] alpha = 0.5 gamma = 0.9期待される出力：[ [0.0, 2.25], [5.0, 0.0] ]あなたの出力
提出時に非公開テスト4件も実行されます。 失敗したテストがあれば、そのテストが表示されます。チャレンジを解くとすべて見られます。
Online Rust Compiler
Write, compile, run, and debug Rust code online in a full-featured browser IDE. Work with multiple files, save your workspace, and share or collaborate in real time.
🦀 このRustオンライン実行ツールについて
CodeUtility Rust Executor は、ブラウザ上でRustコードをそのまま書いて実行できるツールです。 インストールやツールチェーンの準備、ローカル環境は不要です。安全なサンドボックス上で動作し、 実際のRustコンパイラ 1.70、1.72、1.73、1.74 に対応しています。
本ツールは本物の rustc コンパイラでクラウド上でコンパイル・実行するため、
正確で一貫した結果が得られます。変数、所有権、借用、パターンマッチ、トレイト、ジェネリクスなど
モダンなRustの機能を気軽に試せます。
Cargoのインストールやローカルのセットアップなしで、特にメモリ安全性、エラーハンドリング、並行処理など Rustのコア概念を学ぶのに最適です。すべてが数秒でブラウザ内で動作します。
同じ実行環境で、複数ファイル対応エディター、分離された実行ターミナル、ランタイム別ライブラリ、永続ワークスペース、共有、リアルタイム共同作業を利用できます。
この実行環境の使い方
ランタイムを選択し、ファイルを開くか作成してコードを記述し、［実行］を選択します。出力はターミナルに表示されます。サインインしたユーザーは、ワークスペースにファイルを保存し、ライブラリをインストールして、共有を通じて共同作業できます。
- バージョンを選択して現在のファイルを編集するか、ワークスペース内の別のファイルを開きます。
- コードを実行し、求められた場合はターミナルに入力して、保存された実行履歴を確認します。
- 複数のコードスニペットが必要な作業では、ライブラリ、ワークスペースツール、共有、チャットを利用します。
💡 Rustの基本と、上のエディタで試せるサンプル
1. 変数と定数の宣言
変数は let、定数は const、可変変数は mut を使います。
let x = 10;
let pi: f64 = 3.14;
let name = "Alice";
let is_active = true;
const MAX_USERS: u32 = 100;2. 条件分岐（if / match）
条件分岐は if、パターンマッチには match を使います。
let x = 2;
if x == 1 {
println!("One");
} else if x == 2 {
println!("Two");
} else {
println!("Other");
}
match x {
1 => println!("One"),
2 => println!("Two"),
_ => println!("Other"),
}3. ループ
Rust は for、while、無限 loop をサポートしています。
for i in 0..3 {
println!("{}", i);
}
let mut n = 3;
while n > 0 {
println!("{}", n);
n -= 1;
}4. 配列
Rustの固定長配列は角括弧で表します。ビューにはスライスを使います。
let nums = [10, 20, 30];
println!("{}", nums[1]);5. ベクタ（可変長配列）
Vec は可変長配列に使います。
let mut fruits = vec!["apple", "banana"];
fruits.push("cherry");
fruits.pop();
for fruit in &fruits {
println!("{}", fruit);
}6. コンソール入出力
出力は println!、入力は std::io を使います。
use std::io;
let mut name = String::new();
println!("Enter your name:");
io::stdin().read_line(&mut name).unwrap();
println!("Hello, {}", name.trim());7. 関数
関数は fn を使い、-> で戻り値の型を指定します。
fn greet(name: &str) -> String {
format!("Hello, {}", name)
}
println!("{}", greet("Alice"));8. HashMap
キーと値のデータには std::collections::HashMap を使います。
use std::collections::HashMap;
let mut person = HashMap::new();
person.insert("name", "Bob");
println!("{}", person["name"])9. エラー処理
Rustでは Result と match（または unwrap()）でエラーを扱います。
fn fail() -> Result<(), String> {
Err("Something went wrong".to_string())
}
match fail() {
Ok(_) => println!("Success"),
Err(e) => println!("{}", e),
}10. ファイルI/O
std::fs でファイルの読み書きを行います。
use std::fs;
fs::write("file.txt", "Hello File").unwrap();
let content = fs::read_to_string("file.txt").unwrap();
println!("{}", content);11. 文字列操作
Rustの文字列はヒープに確保され、多くのメソッドが使えます。
let mut text = String::from(" Hello Rust ");
println!("{}", text.trim());
println!("{}", text.to_uppercase());
text = text.replace("Hello", "Hi");
println!("{}", text);12. 構造体とメソッド
データ型には struct、メソッド定義には impl を使います。
struct Person {
name: String,
}
impl Person {
fn greet(&self) -> String {
format!("Hi, I'm {}", self.name)
}
}
let p = Person { name: "Alice".to_string() };
println!("{}", p.greet());13. 参照と借用
値の借用には &、可変参照には &mut を使います。
fn update(x: &mut i32) {
*x += 1;
}
let mut value = 10;
update(&mut value);
println!("{}", value);