Tic Tac Toe y Minimax: creación de una IA imperfecta en un microcontrolador
He creado un juego Tic-Tac-Toe en un microcontrolador, que incluye una IA perfecta (lo que significa que no pierde). No usé un algoritmo minimax para eso, solo una pequeña máquina de estado con todos los movimientos posibles y óptimos. Mi problema ahora es que quería implementar diferentes dificultades (fácil, medio y difícil). La IA hasta ahora sería la difícil. Así que pensé en cómo hacer esto de la mejor manera y terminé queriendo usar elminimax algoritmo, pero de una manera que calcula todos los puntajes para todas las posiciones del juego, de modo que a veces también puedo elegir el segundo mejor puntaje en lugar del mejor. Como no siempre puedo hacer todos estos cálculos en el microcontrolador en sí, quería crear un pequeño programa que pueda ejecutar en mi computadora que me proporcione matrices de todos los estados posibles de la placa (con respecto a la simetría, etc. para minimizar el almacenamiento utilizado) y sus puntuaciones correspondientes. Para esto, primero intenté implementar el algoritmo minimax en sí mismo, con respecto adepth para calcular adecuadamente elscores de cada estado Entonces se suponía que me devolvería todos los movimientos óptimos (por ahora) en una matriz. Sin embargo, no parece funcionar tan bien. He intentado depurarlo con algunosprintf líneas. Aquí está el código hasta ahora de ambosminimax funciona tan bien como mi función principal:
static int minimax(int *board, int depth)
{
int score;
int move = -1;
int scores[9];
int nextDepth;
printf("\n----- Called Minimax, Depth: %i -----\n\n", depth);
if(depth%2 ==1){
player = -1;
} else {
player = 1;
}
printf("Player: %i\n---\n", player);
if(isWin(board) != 0){
score = (10-depth)*winningPlayer;
printf("Player %i won on depth %i\n", winningPlayer, depth);
printf("Resulting score: (10-%i)*%i = %i\nScore returned to depth %i\n---\n", depth, winningPlayer, score, depth-1);
return score;
}
score = -20;
nextDepth = depth+1;
printf("Next depth is %i\n---\n", nextDepth);
int i;
for(i=0; i<9; i++){
if(board[i] == 0) {
if(nextDepth%2 ==0) {
player = -1;
} else {
player = 1;
}
printf("Found vacant space at position %i\n", i);
printf("Set value of position %i to %i\n---\n", i, player);
board[i] = player;
int thisScore = minimax(board, nextDepth);
printf("Value of the move at position %i on next depth %i is %i\n---\n", i, nextDepth, thisScore);
scores[i] = thisScore;
if(thisScore > score){
printf("New score value is greater than the old one: %i < %i\n---\n", thisScore, score);
score = thisScore;
move = i;
g_moves[nextDepth-1] = move;
printf("Score was set to %i\n", thisScore);
printf("Remembered move %i\n---\n", move);
}
board[i] = 0;
printf("Value of position %i was reset to 0 on next depth %i\n---\n", i, nextDepth);
}
}
if(move == -1) {
printf("Game ended in a draw.\n Returned score: 0\n---\n");
return 0;
}
printf("Move at position %i was selected on next depth %i\n", move, nextDepth);
printf("Returning score of %i to depth %i\n---\n", score, depth);
return score;
}
losmain es:
int main(int argc, char **argv)
{
memcpy(board, initBoard, sizeof(board));
int score = 0;
int depth = getDepth(board);
score = minimax(board, depth);
printf("\n--- finished ---\n\n");
printf("Moves with the highest score: ");
int i;
for(i=0; i<9; i++){
printf("%i | ", g_moves[i]);
}
printf("\n");
printf("The score is %i\n", score);
printf("The best next board is: \n|----|----|----|\n");
for(i=0; i<3; i++){
printf("| %-2i ", board[i]);
}
printf("|\n|----|----|----|\n");
for(i=3; i<6; i++){
printf("| %-2i ", board[i]);
}
printf("|\n|----|----|----|\n");
for(i=6; i<9; i++){
printf("| %-2i ", board[i]);
}
printf("|\n|----|----|----|\n");
return 0;
}
Además, tengo algunas variables:
//1 = Beginning Player
//-1 = second Player
static int player;
static int winningPlayer = 0;
static int g_moves[9];
/* 0 1 2
* 3 4 5
* 6 7 8
*/
int initBoard[9] = {
0, 0, 0,
0, 0, 0,
0, 0, 0,
};
int board[9];
Además de mi función ganadora:
int isWin(int *board)
{
unsigned winningBoards[8][3] = {
{board[0], board[1], board[2],},
{board[3], board[4], board[5],},
{board[6], board[7], board[8],},
{board[0], board[3], board[6],},
{board[1], board[4], board[7],},
{board[2], board[5], board[8],},
{board[0], board[4], board[8],},
{board[2], board[4], board[6],},
};
int i;
for(i=0; i<8; i++){
if( (winningBoards[i][0] != 0) &&
(winningBoards[i][0] == winningBoards[i][1]) &&
(winningBoards[i][0] == winningBoards[i][2])){
winningPlayer = winningBoards[i][0];
return winningPlayer;
}
}
return 0;
}
Por alguna razón, la última vez que el minimax regresa dedepth 7 paso a paso paradepth 1, sobrescribe mi matrizg_moves con todos los 0, lo que da como resultado las siguientes líneas en mi salida impresa (solo las últimas 70 líneas):
...
----- Called Minimax, Depth: 7 -----
Player: -1
---
Player 1 won on depth 7
Resulting score: (10-7)*1 = 3
Score returned to depth 6
---
Value of the move at position 2 on next depth 7 is 3
---
Value of position 2 was reset to 0 on next depth 7
---
Move at position 0 was selected on next depth 7
Returning score of 3 to depth 6
---
Value of the move at position 3 on next depth 6 is 3
---
Value of position 3 was reset to 0 on next depth 6
---
Move at position 0 was selected on next depth 6
Returning score of 3 to depth 5
---
Value of the move at position 4 on next depth 5 is 3
---
Value of position 4 was reset to 0 on next depth 5 ,
---
Move at position 0 was selected on next depth 5
Returning score of 3 to depth 4
---
Value of the move at position 5 on next depth 4 is 3
---
Value of position 5 was reset to 0 on next depth 4
---
Move at position 0 was selected on next depth 4
Returning score of 3 to depth 3
---
Value of the move at position 6 on next depth 3 is 3
---
Value of position 6 was reset to 0 on next depth 3
---
Move at position 0 was selected on next depth 3
Returning score of 5 to depth 2
---
Value of the move at position 7 on next depth 2 is 5
---
Value of position 7 was reset to 0 on next depth 2
---
Move at position 0 was selected on next depth 2
Returning score of 5 to depth 1
---
Value of the move at position 8 on next depth 1 is 5
---
Value of position 8 was reset to 0 on next depth 1
---
Move at position 0 was selected on next depth 1
Returning score of 5 to depth 0
---
--- finished ---
Moves with the highest score: 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 |
The score is 5
The best next board is:
|----|----|----|
| 0 | 0 | 0 |
|----|----|----|
| 0 | 0 | 0 |
|----|----|----|
| 0 | 0 | 0 |
|----|----|----|
Si necesita otra información para ayudarme, con gusto se la daré si la tengo yo mismo.
Gracias por adelantado.
EDITAR: Entonces reescribí miminimax funciona de manera que ahora imprime todos los estados posibles de la placa en un archivo .txt usando la consola (cmd: ./NAME_OF_FILE> DEST_NAME.txt en la carpeta correspondiente). El código es el siguiente:
int minimax(int *board, int depth)
{
g_node++;
int player;
int move = -1;
int score = -20;
int thisScore = -20;
int i;
if(isWin(board) != 0){
printf("\nNode: %i\n", g_node);
printf("Board state:");
for(i=0;i<9;i++) {
if((i%3) == 0)
printf("\n");
printf("%2i ", board[i]);
}
printf("\n");
printf("has a score of %i\n", (10-depth)*winningPlayer);
return (10-depth)*winningPlayer;
}
if(depth%2 ==1){
player = -1;
} else {
player = 1;
}
for(i=0; i<9; i++){
if(board[i] == 0){
board[i] = player;
thisScore = minimax(board, depth+1);
if(thisScore > score){
score = thisScore;
move = i;
}
board[i] = 0;
}
}
printf("\nNode: %i\n", g_node);
printf("Board state:");
for(i=0;i<9;i++) {
if((i%3) == 0)
printf("\n");
printf("%2i ", board[i]);
}
printf("\n");
if(move == -1){
printf("has a score of 0\n");
return 0;
}
printf("has a score of %i\n", score);
return score;
}
Mi siguiente paso es imprimir el tablero con el máximoscore de cada movimiento en la posición correspondiente.
Example:
10 8 10
8 7 8
10 8 10
for the empty board at the beginning.
EDITAR 2: Ahora agregué otra función llamadaprintScoredBoards que básicamente se supone que debe hacer lo que describí anteriormente en mi última edición, sin embargo, hay un problema. Dado que siempre es posible ganar después del quinto movimiento si tu oponente juega lo suficientemente tonto y desde elminimax prueba todas las posibilidades, incluidas aquellas, con el siguiente código obtengo un tablero anotado de los 15 para el tablero vacío.
void printScoredBoards(int *board, int depth)
{
int player;
int scoredBoard[9] = {0,0,0,0,0,0,0,0,0,};
int i;
if(isWin(board) == 0){
if(depth%2 ==1){
player = -1;
} else {
player = 1;
}
for(i=0; i<9; i++){
if(board[i] == 0){
board[i] = player;
scoredBoard[i] = minimax(board, depth+1)+10;
printScoredBoards(board, depth+1);
board[i] = 0;
}
}
printf("Scored board:");
dumpTable(scoredBoard);
printf("\n");
}
}
Esto es aunque las esquinas deberían valer más y el centro es el menos valioso. ¿Alguien sabe una solución para esto?
EDITAR: Configuré un nuevo algoritmo minimax y lo publiqué en otra publicación. Puede encontrar la publicación en la sección "Vinculada" a la derecha oaquí. Ahora todo lo que estoy haciendo es implementarlo en el código del microcontrolador y crear una función que pueda elegir el mejor / segundo mejor movimiento de todos los movimientos anotados, así como aleatorizarlo si hay varios movimientos con el mismo puntaje. Esta publicación puede sercerrado.