一、SARSA算法概述
SARSA（State-Action-Reward-State-Action）是一种在线强化学习算法，用于解决决策问题，特别是在部分可观测的马尔可夫决策过程（POMDPs）中。SARSA算法的核心思想是通过与环境的交互来学习一个策略，该策略能够最大化累积奖励。
算法步骤
算法特点
- 在线学习：SARSA算法是一种在线学习算法，它在与环境交互的同时更新策略。
- 策略评估和改进：SARSA同时进行策略评估和改进，因为它总是选择当前策略下的最佳动作。
二、基于SARSA算法的移动机器人路径规划
在移动机器人路径规划中，SARSA算法可以用来学习从起点到终点的最优路径。以下是将SARSA应用于路径规划的关键点：
- 状态空间：状态空间可以是机器人在环境中的位置，或者是它在迷宫中的位置。
- 动作空间：动作空间通常包括向前移动、向左移动、向右移动等8个动作。
- 奖励函数：奖励函数可以设计为到达目标位置的正奖励，以及碰撞或探索未访问区域的负奖励。
- 策略学习：通过不断探索环境并根据SARSA算法更新Q值，机器人可以学习到达目标的最佳路径。
算法流程
- 初始化：设置机器人的初始位置，初始化Q值表。
- 选择动作：根据当前位置和ε-greedy策略选择一个动作。
- 执行动作：机器人执行动作并移动到新位置。
- 更新Q值：根据SARSA更新公式更新Q值。
- 终止条件：如果机器人到达目标位置或达到最大步数限制，则停止。
close all
clear
clc
Map=load('data1.txt');
n=size(Map,1);%1 代表障碍物 ； 0 代表通道
%% 起始点
startX=1;
startY=n-1;
goalX=n-1;
goalY=1;for i=1:nfor j=1:ntempdata=rand(1,8);%上下左右Qtable{i,j}.data=tempdata/sum(tempdata);end
end
Apha=0.98;
Gamma=0.55;
result=[startX startY];
maxgen=300;
for iter=1:maxgeni=startX;j=startY;k=0;while~((i==goalX)&&(j==goalY))k=k+1;if rand>0.001[~,idxn]=max(Qtable{i,j}.data);elseidxn=randi(8);endimagesc(~Map);
hold on
plot(result(:,2),result(:,1),'r-',LineWidth=2)
hold on
plot(startY,startX,'bo',MarkerSize=5,MarkerFaceColor='b')
hold on
plot(goalY,goalX,'go',MarkerSize=5,MarkerFaceColor='g')
text(startY-0.25,startX,'起点','color','k','linewidth',5)
text(goalY-0.2,goalX,'终点','color','k','linewidth',5)
colormap('gray')figure
plot(curve,'r-',LineWidth=2)
