Estou procurando uma técnica em que possamos escolher programaticamente o melhor contraste de cores para aplicar no texto sobre elementos HTML de cores de fundo diferentes (imprevisíveis

Como os elementos HTML terão cores diferentes, estamos procurando uma técnica que possa determinar qual é a cor do conteúdo por trás do texto e, em seguida, adaptar a cor do texto para usar o que tiver melhor contrast

Tenho certeza de que isso não pode ser apenas CSS, procurei soluções Jquery, mas não encontrei nenhuma ... alguém tem alguma pista?

[ATUALIZAÇÃO]: Com base nas primeiras respostas, acho que preciso reformular. Imagine que estou criando um serviço de compartilhamento de imagens e quero permitir que as pessoas etiqueteme as próprias imagens. As imagens podem ser de qualquer cor. Como posso escolher a cor certa das tags para cada imagem diferente?