Eliminar todos los elementos de una determinada clase con JavaScript

HTML:

<p class="hi">dood</p>
<p class="hi">dood</p>
<p class="hi">dood</p>
<p class="hi">dood</p>
<p class="hi">dood</p>
<p>not class 'hi'</p>

JS que tengo hasta ahora:

var paras = document.getElementsByClassName('hi');

for(var i = 0; i < paras.length; i++) {
    paras[i].style.color = '#ff0011';
    // $('.hi').remove();
}​

En jQuery, esto sería demasiado fácil. ($('.hi').remove();). Quiero aprender JS, y luego jQuery.

Estoy atascado y Google no ha proporcionado. No quiero convertirme en un programador jQuery copiar / pegar. Estoy empezando a aprender JS. Gracias.