jQuery selecionando e filtrando elementos dentro de um div

Eu tenho um problema com a seleção e filtragem de elementos dentro de uma div.

HTML:

<div id="wrapper">
    <input type="text" value="you can edit me">
    <input type="button" value="click me">
</div>

jQuery:

$("#wrapper").children().click(function() {
    alert("hi there");
});

O problema é que eu sou alertado toda vez que eu clico em qualquer coisa dentro da div.
Mas minha exigência é alertar apenas quando o usuário clica no botão.
Eu sei que a filtragem dos elementos no jQuery está usando:button

Isso é o que eu tentei:

$("#wrapper").children(":button").click(function() {
    alert("hi there");
});

e

$("#wrapper").children().filter(":button").click(function() {
    alert("hi there");
});

Não funcionou

Alguém sabe como fazer isto?