Eu estou tentando raspar dados de um site.Os dados são estruturados como vários objetos, cada um com um conjunto de dados. Por exemplo, pessoas com nomes, idades e ocupações.

Meu problema é que esses dados são divididos em dois níveis no site.
A primeira página é, digamos, uma lista de nomes e idades com um link para a página de perfil de cada pessoa.
Sua página de perfil lista sua ocupação.

Eu já tenho uma aranha escrita com scrapy em python que pode coletar os dados da camada superior e rastrear através de várias paginações.
Mas, como posso coletar os dados das páginas internas, mantendo-os ligados ao objeto apropriado?

Atualmente, tenho a saída estruturada com json como

   {[name='name',age='age',occupation='occupation'],
   [name='name',age='age',occupation='occupation']} etc

A função de análise pode alcançar páginas como essa?