Muitas vezes existe um método claro, que remove todos os itens das coleções, são esses itens descartados também.

Gostar,

toolStripMenuItem.DropDownItems.Clear();

é suficiente, ou devo ligar assim:

foreach (ToolStripItem item in toolStripMenuItem.DropDownItems)
{
  toolStripMenuItem.DropDownItems.Remove(item);
  item.Dispose();
}

Edit: Bem ToolStripItem é um exemplo, não uma pergunta, para quem diz que o Clear é suficiente eu encontrei outro exemplo, TabControl também tem coleção de itens e método claro. Mas os TabControls podem ter controles complexos (pelo menos eu tenho), que precisam ser explicitamente Dispose (mesmo que sejam descartados automaticamente em algum ponto pelo GC, porque eles tiram muita memória). Eu acho que a melhor resposta é divo comentar para descartar os itens e, em seguida, chamar claro.