강화학습 알고리즘 구현 모음

이 저장소는 다양한 강화학습 알고리즘과 환경에 대한 구현을 포함하고 있습니다.

프로젝트 구조

.
├── A3C/ # A3C (Asynchronous Advantage Actor-Critic) 구현
│ ├── a3c_pong.py # A3C 알고리즘 구현
│ ├── requirements.txt # 필요한 패키지 목록
│ ├── Dockerfile # Docker 설정 파일
│ ├── run.bat # Docker 실행 스크립트 (Windows)
│ ├── run.sh # Docker 실행 스크립트 (Linux/Mac)
│ └── output_a3c/ # 학습 결과 저장 디렉토리
│ ├── models/ # 학습된 모델 저장
│ ├── logs/ # 학습 로그 저장
│ └── videos/ # 학습 과정 비디오 저장
│
├── FrozenLake/ # FrozenLake 환경에서의 Q-Learning 구현
│ ├── frozen_lake_qlearning.py # Q-Learning 알고리즘 구현
│ ├── requirements.txt # 필요한 패키지 목록
│ ├── Dockerfile # Docker 설정 파일
│ ├── README.md # 프로젝트 설명
│ ├── run_docker.bat # Docker 실행 스크립트 (Windows)
│ ├── run_simple.bat # 간단한 실행 스크립트 (Windows)
│ ├── run_quick_test.bat # 빠른 테스트 스크립트 (Windows)
│ ├── docker_utils.bat # Docker 환경 관리 유틸리티 (Windows)
│ └── run.sh # Docker 실행 스크립트 (Linux/Mac)
│
├── REINFORCE_CartPole/ # CartPole 환경에서의 REINFORCE 구현
│ ├── main.py # 메인 학습 코드
│ ├── requirements.txt # 필요한 패키지 목록
│ ├── run.bat # 실행 스크립트
│ └── Dockerfile # Docker 설정 파일
│
├── REINFORCE/ # 기본 REINFORCE 알고리즘 구현
│ ├── main.py # 메인 학습 코드
│ ├── requirements.txt # 필요한 패키지 목록
│ ├── run.bat # 실행 스크립트
│ ├── Dockerfile # Docker 설정 파일
│ ├── policy_net.pth # 학습된 모델
│ ├── game_progress.gif # 학습 과정 시각화
│ ├── game_progress.mp4 # 학습 과정 비디오
│ ├── frame.png # 게임 프레임
│ └── REINFOCE_example_code*.ipynb # Jupyter 노트북 예제
│
└── REINFORCE_Baseline/ # Baseline이 추가된 REINFORCE 구현
├── main.py # 메인 학습 코드
├── requirements.txt # 필요한 패키지 목록
├── run.bat # 실행 스크립트
├── Dockerfile # Docker 설정 파일
├── README.md # 프로젝트 설명
├── logs/ # 학습 로그 저장
└── videos/ # 학습 과정 비디오 저장

구현된 알고리즘

1. A3C (Asynchronous Advantage Actor-Critic)

• 위치: A3C/
• 설명: A3C 알고리즘을 사용하여 Atari Pong 게임을 학습
• 특징:
  • 멀티프로세싱을 통한 비동기 학습
  • Actor-Critic 아키텍처 사용
  • 학습 과정 비디오 녹화
  • Docker 컨테이너화 지원
  • Windows/Linux/Mac 호환성

2. Q-Learning (FrozenLake)

• 위치: FrozenLake/
• 설명: 테이블 기반 Q-Learning을 사용하여 FrozenLake 환경을 해결
• 특징:
  • 4x4 및 8x8 맵 지원
  • 미끄러운/미끄럽지 않은 버전 지원
  • 학습 과정 시각화
  • 다양한 실행 옵션 제공 (Docker, 간단 실행, 빠른 테스트)
  • Windows/Linux/Mac 호환성

3. REINFORCE (CartPole)

• 위치: REINFORCE_CartPole/
• 설명: REINFORCE 알고리즘을 사용하여 OpenAI Gym의 CartPole-v1 환경을 학습
• 특징:
  • PyTorch를 사용한 신경망 기반 정책 네트워크
  • GPU 가속 지원
  • Docker 컨테이너화 지원

4. 기본 REINFORCE

• 위치: REINFORCE/
• 설명: 기본적인 REINFORCE 알고리즘 구현
• 특징:
  • Jupyter 노트북을 통한 예제 코드 제공
  • 학습 과정 시각화 (GIF, MP4)
  • Docker 컨테이너화 지원

5. REINFORCE with Baseline

• 위치: REINFORCE_Baseline/
• 설명: Baseline이 추가된 REINFORCE 알고리즘 구현
• 특징:
  • 학습 로그 및 비디오 저장
  • 상세한 실행 스크립트
  • Docker 컨테이너화 지원

공통 특징

• 모든 프로젝트는 Docker를 통해 실행 가능
• 필요한 패키지는 requirements.txt에 명시
• 실행 스크립트(run.bat/run.sh) 제공

실행 방법

각 프로젝트 디렉토리에서 다음 명령어를 실행:

# Docker를 사용하는 경우
docker build -t rl-project .
docker run -it rl-project
# 또는 직접 실행
python main.py # 또는 프로젝트별 메인 파일

환경 요구사항

• Python 3.6+
• PyTorch (REINFORCE, A3C 프로젝트)
• OpenAI Gym/Gymnasium
• NumPy
• Matplotlib
• Docker (선택사항)