Q-러닝은 각 상태에서 각 행동이 얼마나 좋은지, 즉 Q(s, a)를 경험만으로 학습합니다. 상태 s에서 행동 a를 하고 reward를 받은 뒤 상태 s'에 도착하면:
- 에피소드가 끝났다면 (
done= 1) target = reward - 그렇지 않으면 target = reward + gamma × (a'에 대한 Q(s', a')의 최댓값)
- Q(s, a) ← Q(s, a) + alpha × (target - Q(s, a))
모든 Q 값을 0으로 시작하고 전이를 순서대로 적용합니다.
q_learning(num_states, num_actions, transitions, alpha, gamma)를 구현하세요.
입력
num_states, num_actions: 표의 크기.
transitions: 단계마다 한 행씩 [state, action, reward, next_state, done].
alpha: 학습률.
gamma: 할인율.
출력
상태마다 한 행, 행동마다 한 열인 행렬로 Q 표를 반환합니다.
제약 조건
1 ≤ num_states, num_actions ≤ 100, 0 ≤ 전이 수 ≤ 10,000
-100 ≤ reward ≤ 100, done은 0 또는 1
0 < alpha ≤ 1, 0 ≤ gamma ≤ 1
예시
입력:
num_states = 2
num_actions = 2
transitions = [
[0, 1, 0, 1, 0],
[1, 0, 10, 0, 1]
]
alpha = 0.5
gamma = 0.9
예상 출력:
[
[0.0, 0.0],
[5.0, 0.0]
]설명
첫 단계에서는 아직 보상이 없습니다. target = 0 + 0.9 × max(Q[1]) = 0이므로 Q[0][1]은 0 그대로입니다. 두 번째 단계는 보상 10으로 에피소드를 끝냅니다. Q[1][0] = 0 + 0.5 × (10 - 0) = 5.
입력:
num_states = 2
num_actions = 2
transitions = [
[1, 0, 10, 0, 1],
[0, 1, 0, 1, 0]
]
alpha = 0.5
gamma = 0.9
예상 출력:
[
[0.0, 2.25],
[5.0, 0.0]
]설명
같은 단계를 반대 순서로 적용합니다. Q[1][0]이 먼저 5가 되므로 상태 0에서의 단계가 이를 봅니다. target = 0 + 0.9 × 5 = 4.5이고 Q[0][1] = 0.5 × 4.5 = 2.25. 보상이 한 상태 뒤로 전달되었습니다.
참고 자료
-
예시 1 미실행입력:
num_states = 2 num_actions = 2 transitions = [ [0, 1, 0, 1, 0], [1, 0, 10, 0, 1] ] alpha = 0.5 gamma = 0.9예상 출력:[ [0.0, 0.0], [5.0, 0.0] ]내 출력 -
예시 2 미실행입력:
num_states = 2 num_actions = 2 transitions = [ [1, 0, 10, 0, 1], [0, 1, 0, 1, 0] ] alpha = 0.5 gamma = 0.9예상 출력:[ [0.0, 2.25], [5.0, 0.0] ]내 출력
제출 시 4개의 숨겨진 테스트도 실행됩니다. 코드가 하나라도 실패하면 그 테스트를 볼 수 있습니다. 챌린지를 해결하면 모두 볼 수 있습니다.
Online Rust Compiler
Write, compile, run, and debug Rust code online in a full-featured browser IDE. Work with multiple files, save your workspace, and share or collaborate in real time.
🦀 이 Rust 온라인 실행기 소개
CodeUtility Rust Executor는 브라우저에서 바로 Rust 코드를 작성하고 실행할 수 있게 해줍니다 - 설치, 툴체인 설정, 로컬 환경이 전혀 필요 없습니다. 보안 샌드박스에서 동작하며, 실제 Rust 컴파일러 버전 1.70, 1.72, 1.73, 그리고 1.74를 지원합니다.
이 도구는 실제 rustc 컴파일러로 클라우드에서 Rust 프로그램을 컴파일하고 실행하여
정확하고 일관된 결과를 보장합니다. 변수, 소유권, 빌림, 패턴 매칭, 트레이트, 제네릭 등
최신 Rust 기능을 손쉽게 실험할 수 있습니다.
Cargo를 설치하거나 로컬 환경을 구성할 필요 없이 Rust의 핵심 개념 - 특히 메모리 안전성, 오류 처리, 동시성 - 을 학습하기에 이상적입니다. 모든 것이 몇 초 안에 브라우저에서 바로 실행됩니다.
하나의 실행기에서 다중 파일 편집기, 격리된 실행 터미널, 런타임별 라이브러리, 영구 작업 공간, 공유 및 실시간 협업을 이용하세요.
이 실행기는 어떻게 사용하나요?
런타임을 선택하고 파일을 열거나 만든 다음 코드를 작성하고 실행을 선택하세요. 출력은 터미널에 표시되며, 로그인한 사용자는 작업 공간에 파일을 보관하고 라이브러리를 설치하며 공유를 통해 협업할 수 있습니다.
- 버전을 선택하고 현재 파일을 편집하거나 작업 공간의 다른 파일을 여세요.
- 코드를 실행하고 요청 시 터미널에 입력한 다음 저장된 실행 기록을 확인하세요.
- 작업에 둘 이상의 코드 조각이 필요하면 라이브러리, 작업 공간 도구, 공유 및 채팅을 사용하세요.
💡 위에서 바로 시도해볼 수 있는 Rust 기본 & 예제
1. 변수와 상수 선언
let으로 변수를 선언합니다. 상수에는 const, 가변 변수에는 mut를 사용합니다.
let x = 10;
let pi: f64 = 3.14;
let name = "Alice";
let is_active = true;
const MAX_USERS: u32 = 100;2. 조건문 (if / match)
조건에는 if, 패턴 매칭에는 match를 사용합니다.
let x = 2;
if x == 1 {
println!("하나");
} else if x == 2 {
println!("둘");
} else {
println!("기타");
}
match x {
1 => println!("하나"),
2 => println!("둘"),
_ => println!("기타"),
}3. 반복문
Rust는 for, while, 그리고 무한 루프인 loop를 지원합니다.
for i in 0..3 {
println!("{}", i);
}
let mut n = 3;
while n > 0 {
println!("{}", n);
n -= 1;
}4. 배열
Rust의 고정 크기 배열은 대괄호를 사용합니다. 뷰에는 슬라이스를 사용하세요.
let nums = [10, 20, 30];
println!("{}", nums[1]);5. 벡터(동적 배열)
동적 배열에는 Vec를 사용합니다.
let mut fruits = vec!["apple", "banana"];
fruits.push("cherry");
fruits.pop();
for fruit in &fruits {
println!("{}", fruit);
}6. 콘솔 입출력
출력에는 println!, 입력에는 std::io를 사용합니다.
use std::io;
let mut name = String::new();
println!("이름을 입력하세요:");
io::stdin().read_line(&mut name).unwrap();
println!("안녕하세요, {}", name.trim());7. 함수
함수는 fn을 사용하며 ->로 값을 반환할 수 있습니다.
fn greet(name: &str) -> String {
format!("안녕하세요, {}", name)
}
println!("{}", greet("Alice"));8. HashMap
키-값 데이터에는 std::collections::HashMap을 사용합니다.
use std::collections::HashMap;
let mut person = HashMap::new();
person.insert("name", "Bob");
println!("{}", person["name"])9. 오류 처리
Rust는 Result와 match 또는 unwrap()으로 오류를 처리합니다.
fn fail() -> Result<(), String> {
Err("문제가 발생했습니다".to_string())
}
match fail() {
Ok(_) => println!("성공"),
Err(e) => println!("{}", e),
}10. 파일 I/O
파일 읽기/쓰기는 std::fs를 사용합니다.
use std::fs;
fs::write("file.txt", "Hello File").unwrap();
let content = fs::read_to_string("file.txt").unwrap();
println!("{}", content);11. 문자열 조작
Rust의 문자열은 힙에 할당되며 다양한 메서드를 지원합니다.
let mut text = String::from(" Hello Rust ");
println!("{}", text.trim());
println!("{}", text.to_uppercase());
text = text.replace("Hello", "Hi");
println!("{}", text);12. 구조체 & 메서드
Rust는 데이터 타입에는 struct를, 메서드에는 impl을 사용합니다.
struct Person {
name: String,
}
impl Person {
fn greet(&self) -> String {
format!("안녕하세요, 저는 {}입니다", self.name)
}
}
let p = Person { name: "Alice".to_string() };
println!("{}", p.greet());13. 참조 & 빌림
Rust에서는 값을 빌릴 때 &, 가변 참조에는 &mut를 사용합니다.
fn update(x: &mut i32) {
*x += 1;
}
let mut value = 10;
update(&mut value);
println!("{}", value);