Estou um pouco confuso, já li muito sobre o meu problema, mas sem encontrar uma resposta. Eu tenho que entrar em um site e buscar algum HTML de uma página acessível somente após o login. Eu fiz isso no passado com o Visual Basic, usando oIE Object e agindo como um roteiro, mas isso me deu muitos problemas, principalmente porque é muito lento.

Meu site é de fácil acesso usando apenas uma solicitação POST como<url>/j_security_check?j_username=username&j_password=pass o que não sei é como verificar se estou conectado ou não, como acessar a página usando a sessão criada e como buscar o HTML (principalmente gerado por JavaScript)

Nunca criei um formulário de login antes e não sei como as sessões funcionam. Também estou confuso sobre o que o cabeçalho é necessário e o que uma Solicitação e Resposta representa fornecida pelo servidor.

Se alguém pudesse me indicar a direção certa para aprender esses conceitos, eu apreciaria muito isso.