Como obter, definir e selecionar elementos com atributos de dados?

Estou tendo alguns problemas com atributos de dados, não consigo fazer nada funcionar por algum motivo, por isso devo estar fazendo algo errado:

Conjunto:

$('#element').data('data1', '1'); //Actually in my case the data is been added manually 

Isso faz alguma diferença?

Pegue:

$('#element').data('data1');

Selecione:

$('#element[data1 = 1]')

Nada disso funciona para mim, estou fazendo isso ou como é?

questionAnswers(4)

yourAnswerToTheQuestion