Tic Tac Toe e Minimax - Criando uma IA imperfeita em um microcontrolador
Eu criei um jogo Tic-Tac-Toe em um microcontrolador, incluindo uma IA perfeita (significado perfeito de que ele não perde). Eu não usei um algoritmo minimax para isso, apenas uma pequena máquina de estado com todos os movimentos possíveis e ideais. Meu problema agora é que eu queria implementar diferentes dificuldades (Fácil, Médio e Difícil). A IA até agora seria a mais difícil. Então, eu pensei em como fazer isso da melhor maneira e acabei querendo usar ominimax algoritmo, mas de uma maneira que calcule todas as pontuações para todas as posições do jogo, para que eu também possa às vezes escolher a segunda melhor pontuação em vez da melhor. Como nem sempre é possível fazer todos esses cálculos no próprio microcontrolador, eu queria criar um pequeno programa que possa ser executado no meu computador que me forneça matrizes de todos os estados possíveis da placa (com relação à simetria, ect para minimizar o armazenamento) usado) e suas pontuações correspondentes. Para isso, tentei primeiramente implementar o próprio algoritmo minimax, em relação àdepth para calcular corretamente oscores de cada estado. Era para me devolver todos os movimentos ideais (por enquanto) em uma matriz. No entanto, parece não funcionar tão bem. Eu tentei depurá-lo com algunsprintf linhas. Aqui está o código até agora dos doisminimax função, bem como a minha principal função:
static int minimax(int *board, int depth)
{
int score;
int move = -1;
int scores[9];
int nextDepth;
printf("\n----- Called Minimax, Depth: %i -----\n\n", depth);
if(depth%2 ==1){
player = -1;
} else {
player = 1;
}
printf("Player: %i\n---\n", player);
if(isWin(board) != 0){
score = (10-depth)*winningPlayer;
printf("Player %i won on depth %i\n", winningPlayer, depth);
printf("Resulting score: (10-%i)*%i = %i\nScore returned to depth %i\n---\n", depth, winningPlayer, score, depth-1);
return score;
}
score = -20;
nextDepth = depth+1;
printf("Next depth is %i\n---\n", nextDepth);
int i;
for(i=0; i<9; i++){
if(board[i] == 0) {
if(nextDepth%2 ==0) {
player = -1;
} else {
player = 1;
}
printf("Found vacant space at position %i\n", i);
printf("Set value of position %i to %i\n---\n", i, player);
board[i] = player;
int thisScore = minimax(board, nextDepth);
printf("Value of the move at position %i on next depth %i is %i\n---\n", i, nextDepth, thisScore);
scores[i] = thisScore;
if(thisScore > score){
printf("New score value is greater than the old one: %i < %i\n---\n", thisScore, score);
score = thisScore;
move = i;
g_moves[nextDepth-1] = move;
printf("Score was set to %i\n", thisScore);
printf("Remembered move %i\n---\n", move);
}
board[i] = 0;
printf("Value of position %i was reset to 0 on next depth %i\n---\n", i, nextDepth);
}
}
if(move == -1) {
printf("Game ended in a draw.\n Returned score: 0\n---\n");
return 0;
}
printf("Move at position %i was selected on next depth %i\n", move, nextDepth);
printf("Returning score of %i to depth %i\n---\n", score, depth);
return score;
}
omain é:
int main(int argc, char **argv)
{
memcpy(board, initBoard, sizeof(board));
int score = 0;
int depth = getDepth(board);
score = minimax(board, depth);
printf("\n--- finished ---\n\n");
printf("Moves with the highest score: ");
int i;
for(i=0; i<9; i++){
printf("%i | ", g_moves[i]);
}
printf("\n");
printf("The score is %i\n", score);
printf("The best next board is: \n|----|----|----|\n");
for(i=0; i<3; i++){
printf("| %-2i ", board[i]);
}
printf("|\n|----|----|----|\n");
for(i=3; i<6; i++){
printf("| %-2i ", board[i]);
}
printf("|\n|----|----|----|\n");
for(i=6; i<9; i++){
printf("| %-2i ", board[i]);
}
printf("|\n|----|----|----|\n");
return 0;
}
Além disso, eu tenho algumas variáveis:
//1 = Beginning Player
//-1 = second Player
static int player;
static int winningPlayer = 0;
static int g_moves[9];
/* 0 1 2
* 3 4 5
* 6 7 8
*/
int initBoard[9] = {
0, 0, 0,
0, 0, 0,
0, 0, 0,
};
int board[9];
Além da minha função vencedora:
int isWin(int *board)
{
unsigned winningBoards[8][3] = {
{board[0], board[1], board[2],},
{board[3], board[4], board[5],},
{board[6], board[7], board[8],},
{board[0], board[3], board[6],},
{board[1], board[4], board[7],},
{board[2], board[5], board[8],},
{board[0], board[4], board[8],},
{board[2], board[4], board[6],},
};
int i;
for(i=0; i<8; i++){
if( (winningBoards[i][0] != 0) &&
(winningBoards[i][0] == winningBoards[i][1]) &&
(winningBoards[i][0] == winningBoards[i][2])){
winningPlayer = winningBoards[i][0];
return winningPlayer;
}
}
return 0;
}
Por alguma razão, a última vez que o minimax retorna dedepth 7 passo a passo paradepth 1, substitui minha matrizg_moves com todos os 0s, resultando nas seguintes linhas na minha saída impressa (apenas as últimas 70 linhas):
...
----- Called Minimax, Depth: 7 -----
Player: -1
---
Player 1 won on depth 7
Resulting score: (10-7)*1 = 3
Score returned to depth 6
---
Value of the move at position 2 on next depth 7 is 3
---
Value of position 2 was reset to 0 on next depth 7
---
Move at position 0 was selected on next depth 7
Returning score of 3 to depth 6
---
Value of the move at position 3 on next depth 6 is 3
---
Value of position 3 was reset to 0 on next depth 6
---
Move at position 0 was selected on next depth 6
Returning score of 3 to depth 5
---
Value of the move at position 4 on next depth 5 is 3
---
Value of position 4 was reset to 0 on next depth 5 ,
---
Move at position 0 was selected on next depth 5
Returning score of 3 to depth 4
---
Value of the move at position 5 on next depth 4 is 3
---
Value of position 5 was reset to 0 on next depth 4
---
Move at position 0 was selected on next depth 4
Returning score of 3 to depth 3
---
Value of the move at position 6 on next depth 3 is 3
---
Value of position 6 was reset to 0 on next depth 3
---
Move at position 0 was selected on next depth 3
Returning score of 5 to depth 2
---
Value of the move at position 7 on next depth 2 is 5
---
Value of position 7 was reset to 0 on next depth 2
---
Move at position 0 was selected on next depth 2
Returning score of 5 to depth 1
---
Value of the move at position 8 on next depth 1 is 5
---
Value of position 8 was reset to 0 on next depth 1
---
Move at position 0 was selected on next depth 1
Returning score of 5 to depth 0
---
--- finished ---
Moves with the highest score: 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 |
The score is 5
The best next board is:
|----|----|----|
| 0 | 0 | 0 |
|----|----|----|
| 0 | 0 | 0 |
|----|----|----|
| 0 | 0 | 0 |
|----|----|----|
Se você precisar de outras informações para me ajudar, ficarei feliz em fornecê-las, se eu as tiver.
Desde já, obrigado.
EDITAR: Então eu reescrevi minhaminimax para que agora imprima todos os estados possíveis da placa em um arquivo .txt usando o console (cmd: ./NAME_OF_FILE> DEST_NAME.txt na pasta correspondente). O código é o seguinte:
int minimax(int *board, int depth)
{
g_node++;
int player;
int move = -1;
int score = -20;
int thisScore = -20;
int i;
if(isWin(board) != 0){
printf("\nNode: %i\n", g_node);
printf("Board state:");
for(i=0;i<9;i++) {
if((i%3) == 0)
printf("\n");
printf("%2i ", board[i]);
}
printf("\n");
printf("has a score of %i\n", (10-depth)*winningPlayer);
return (10-depth)*winningPlayer;
}
if(depth%2 ==1){
player = -1;
} else {
player = 1;
}
for(i=0; i<9; i++){
if(board[i] == 0){
board[i] = player;
thisScore = minimax(board, depth+1);
if(thisScore > score){
score = thisScore;
move = i;
}
board[i] = 0;
}
}
printf("\nNode: %i\n", g_node);
printf("Board state:");
for(i=0;i<9;i++) {
if((i%3) == 0)
printf("\n");
printf("%2i ", board[i]);
}
printf("\n");
if(move == -1){
printf("has a score of 0\n");
return 0;
}
printf("has a score of %i\n", score);
return score;
}
Meu próximo passo é imprimir o quadro com o máximoscore de cada movimento na posição correspondente.
Example:
10 8 10
8 7 8
10 8 10
for the empty board at the beginning.
EDIT 2: Agora eu adicionei outra função chamadaprintScoredBoards que basicamente deve fazer o que descrevi acima na minha última edição, no entanto, há um problema. Como sempre é possível vencer após o 5º lance, se o seu oponente jogar o suficiente e desde que ominimax tenta todas as possibilidades, incluindo aquelas, com o código a seguir: recebo um placar de todos os 15s para o tabuleiro vazio.
void printScoredBoards(int *board, int depth)
{
int player;
int scoredBoard[9] = {0,0,0,0,0,0,0,0,0,};
int i;
if(isWin(board) == 0){
if(depth%2 ==1){
player = -1;
} else {
player = 1;
}
for(i=0; i<9; i++){
if(board[i] == 0){
board[i] = player;
scoredBoard[i] = minimax(board, depth+1)+10;
printScoredBoards(board, depth+1);
board[i] = 0;
}
}
printf("Scored board:");
dumpTable(scoredBoard);
printf("\n");
}
}
Isso ocorre embora os cantos devam valer mais e o centro seja o menos valioso. Alguém conhece uma solução alternativa para isso?
EDITAR: Configurei um novo algoritmo minimax e o publiquei em outro post. Você pode encontrar a postagem na seção "Vinculado" à direita ouaqui. Agora, tudo o que estou fazendo é implementá-lo no código do microcontrolador e criar uma função que possa escolher a melhor / segunda melhor jogada dentre todas as jogadas marcadas, além de randomizá-la se houver várias jogadas com a mesma pontuação. Este post pode ser assimfechadas.