Usando jQuery, eu gostaria de obter o índice do li, onde o HREF da tag de âncora contida é igual a "#All". (Nesse caso, o resultado correto seria 3)

<div id="tabs">
    <ul>
        <li><a href="#CPU"><span>CPU</span></a></li>
        <li><a href="#Pickup"><span>Pickup</span></a></li>
        <li><a href="#Breakfix"><span>Breakfix</span></a></li>
        <li><a href="#All"><span>All</span></a></li>
    </ul>
</div>

Eu tentei

$("#tabs ul").index($("li a[href='#All']"))

... sem sorte. O que estou fazendo de errado