У меня есть окно, и я хочу реализовать границы как изменение размеров границ, как и любое другое окно. Принимая предложения от комментариев и ответов, я переписал свой код. Для WM_GETMINMAXINFO у меня есть:

MINMAXINFO *min_max = reinterpret_cast(lparam);

min_max->ptMinTrackSize.x = MINX;
min_max->ptMinTrackSize.y = MINY;

MINX и MINY - это минимальный размер окна, которым я хочу быть. Для WM_NCHITTEST у меня есть:

RECT wnd_rect;
int x, y;

GetWindowRect (window, &wnd_rect);
x = GET_X_LPARAM (lparam) - wnd_rect.left;
y = GET_Y_LPARAM (lparam) - wnd_rect.top;

if (x >= BORDERWIDTH && x BORDERWIDTH && y >= BORDERWIDTH && y