Tarefa de fluxo de dados do SSIS depende da execução da fase de pré-execução
Eu tenho uma tarefa de fluxo de dados que está pendurado na execução.
O fluxo é simples, faz duas consultas a diferentes tabelas (ambas com algumas junções), então classifica e mescla os otuputs por meio de um ID comum, adiciona uma coluna estática a todos os registros, salva a contagem de linhas em uma variável de usuário para mais tarde use e finalmente insere em uma tabela em outro banco de dados. Estamos usando fontes e destinos de banco de dados OLE. A fonte é MSSQL 2000 e o destino é MSSQL 2012
Sintomas:
Informações: 0x40043006 na tabela Load Sandbox, SSIS.Pipeline: Prepare for Execute fase está começando.
Informações: 0x40043007 na tabela Load Sandbox, SSIS.Pipeline: fase de pré-execução está começando.
E nada mais até que a execução seja interrompida.Sim, isso funcionou antes. E sim, usamos uma única consulta (em um procedimento armazenado) para fazer esse ETL, mas desejamos migrar todas as etapas para o SSIS.
Soluções com falha:
Não há pesquisas.O tamanho padrão do buffer para o fluxo de tarefas foi aumentado para 40485760 e 80971520.As linhas máximas do buffer padrão para a tarefa foram configuradas como 1000000.Atraso Validação foi definido como Verdadeiro para a tarefa.Todos os elementos dentro da tarefa foram definidos como Validar dados externos como False.Ambas as consultas tiveram:SET FMTONLY OFF;
SET NOCOUNT ON;
adicionado no início.Ambas as consultasMAXDOP definido para 1.Configurando o Runtime do Run 64 bit do projeto para False.Carga de destino alterada deTabela ou Vista paraTabela ou visualização - carga rápida sem bloqueios ou restrições.Defina linhas por lote para 1000 para carregamento rápido.Alguns trabalhos propõem separar o fluxo de tarefas em dois ou mais fluxos de tarefas. Mas isso não é possível, pois o que precisamos fazer é mesclar as informações encontradas nas duas consultas de origem.
Pedaços extras: Eu realmente espero que alguém possa me ajudar. Eu sou relativamente novo no SSIS, esta é a primeira vez que o uso. Eu normalmente trabalho com o Pentaho para meu ETL, mas o cliente precisa que a solução seja implementada no SSIS. Eu tenho lutado com esse problema há alguns dias e estou começando a ficar sem ideias para resolvê-lo.
Quando corri pela linha de comando, ele fica preso e eu recebo a seguinte saída:
Progress: 2013-03-19 14:36:26.21
Source: Load Sandbox Table
Validating: 0% complete
End Progress
Progress: 2013-03-19 14:36:26.21
Source: Load Sandbox Table
Validating: 12% complete
End Progress
Progress: 2013-03-19 14:36:26.22
Source: Load Sandbox Table
Validating: 25% complete
End Progress
Progress: 2013-03-19 14:36:26.22
Source: Load Sandbox Table
Validating: 37% complete
End Progress
Progress: 2013-03-19 14:36:26.23
Source: Load Sandbox Table
Validating: 50% complete
End Progress
Progress: 2013-03-19 14:36:26.25
Source: Load Sandbox Table
Validating: 62% complete
End Progress
Progress: 2013-03-19 14:36:26.25
Source: Load Sandbox Table
Validating: 75% complete
End Progress
Progress: 2013-03-19 14:36:26.25
Source: Load Sandbox Table
Validating: 87% complete
End Progress
Progress: 2013-03-19 14:36:26.25
Source: Load Sandbox Table
Validating: 100% complete
End Progress
Warning: 2013-03-19 14:36:26.26
Code: 0x80047076
Source: Load Sandbox Table SSIS.Pipeline
Description: The output column "ITEM_OID (1)" (47) on output "Merge Join Outp
ut" (28) and component "Merge Join" (11) is not subsequently used in the Data Fl
ow task. Removing this unused output column can increase Data Flow task performa
nce.
End Warning
Progress: 2013-03-19 14:36:26.27
Source: Load Sandbox Table
Prepare for Execute: 0% complete
End Progress
Progress: 2013-03-19 14:36:26.27
Source: Load Sandbox Table
Prepare for Execute: 12% complete
End Progress
Progress: 2013-03-19 14:36:26.27
Source: Load Sandbox Table
Prepare for Execute: 25% complete
End Progress
Progress: 2013-03-19 14:36:26.27
Source: Load Sandbox Table
Prepare for Execute: 37% complete
End Progress
Progress: 2013-03-19 14:36:26.27
Source: Load Sandbox Table
Prepare for Execute: 50% complete
End Progress
Progress: 2013-03-19 14:36:26.27
Source: Load Sandbox Table
Prepare for Execute: 62% complete
End Progress
Progress: 2013-03-19 14:36:26.27
Source: Load Sandbox Table
Prepare for Execute: 75% complete
End Progress
Progress: 2013-03-19 14:36:26.27
Source: Load Sandbox Table
Prepare for Execute: 87% complete
End Progress
Progress: 2013-03-19 14:36:26.27
Source: Load Sandbox Table
Prepare for Execute: 100% complete
End Progress
Progress: 2013-03-19 14:36:26.31
Source: Load Sandbox Table
Pre-Execute: 0% complete
End Progress
Progress: 2013-03-19 14:36:26.31
Source: Load Sandbox Table
Pre-Execute: 12% complete
End Progress
Progress: 2013-03-19 14:36:26.31
Source: Load Sandbox Table
Pre-Execute: 25% complete
End Progress
Progress: 2013-03-19 14:36:26.34
Source: Load Sandbox Table
Pre-Execute: 37% complete
End Progress
Progress: 2013-03-19 14:36:45.69
Source: Load Sandbox Table
Pre-Execute: 50% complete
End Progress
Depois disso, congela novamente.
SOLUÇÃO (Postando isso aqui porque eu não posso responder a minha própria pergunta por mais 5 horas, eu farei quando eu puder.)
Eu finalmente consegui.
Acontece que há um problema com a validação, mas não apenas os elementos do SSIS passam por essa validação, como declarado na quarta solução malsucedida da questão.
As CONNECTIONS também são validadas e possuem sua própria propriedade Delay Validation, que precisa ser definida como true.
Depois disso, o tempo de execução passou de 40 minutos ou não passou para menos de um minuto para o processo completo (isso é apenas um passo de um processo muito maior).
Espero que as pessoas com esse mesmo problema possam encontrar essa solução facilmente, porque há muitas pessoas correndo para esse problema e quase nenhuma solução publicada on-line.
Em poucas palavras: Verifique se todos os seus elementos estão envolvidos na tarefaIncluindo as conexões do banco de dados têm Delay Verification Property definida como True.