Estoy moviendo un nodo en mi gráfico d3.js usando el siguiente código:

d3.select("#"+ nodeid).attr("x",x);
d3.select("#"+ nodeid).attr("y",y);

Esto funciona bien, pero cuando comienzo a arrastrar en el nodo nuevamente, 'salta' nuevamente a su posición anterior y comienza a moverse desde allí.

¿Alguna idea de lo que estoy haciendo mal aquí?