livro / documentação de projeto de processamento em lotes / off-line [fechado]

Existe um livro ou qualquer documentação disponível que descreve a prática recomendada para projetar processos em lote (offline) para compartilhar dados entre duas partes?

Eu encontrei algumas informações úteis no site do lote de primavera, mas é um nível bastante baixo:estratégias de processamento em lote ediretrizes de princípios de lote.

Há muitas considerações para lote, por exemplo:

método de transferência de dados (por exemplo, arquivos)protocolo de controle entre as duas partestratamento de errosconvenções de nomenclatura de arquivos (se estiver usando arquivos para transferência)sincronizando os tempos de corte entre as duas partesetc.

Seria bom se houvesse algum documento ou listas de verificação que garantam que os projetos sigam as melhores práticas no campo.

ATUALIZAR:

Vou adicionar respostas a esta seção quando me deparo com elas.

Informações gerais sobre processamento em lotes / offline

Esta seção é tirada da resposta do @ user1813068.

Você pode encontrar alguns padrões de design arquitetônico nesteligação e também nesteligação descrevem abordagens para a integração de parceiro a parceiro e para sincronização de dados.

Esta página da Wikipédia também fornece uma visão geral de alto nível dos padrões de arquitetura e inclui padrões para integração de dados:padrões arquitetônicos.

O livroModelagem e Integração de Dados Blueprint and Modeling é muito bom também.

Arquivos de dados

A maior parte do conteúdo desta seção veio daqui:fonte

O uso de cabeçalhos e rodapés para troca de arquivos simples é considerado a melhor prática. Arquivos simples podem ser trocados sem cabeçalhos e rodapés e a nomeação do arquivo pode delinear algumas das mesmas informações que o cabeçalho. Ao usar um arquivo delimitado, o cabeçalho da lista de campos é sempre necessário.

Cabeçalhos

Ao trocar dados entre sistemas, é muito importante para a parte receptora saber exatamente que tipo de dados está sendo enviado. Uma maneira de garantir isso é fornecer uma linha de cabeçalho que inclua informações pertinentes sobre o conteúdo dos dados e como eles devem ser processados.

Ao trabalhar com arquivos simples, o nome do arquivo também pode ser usado para informar a parte receptora do conteúdo do arquivo. No entanto, uma linha de cabeçalho fornece melhor suporte para todas as opções que podem estar disponíveis.

Ao trabalhar com uma API, esses campos de cabeçalho podem ser fornecidos de maneira semelhante. A implementação será determinada pelo desenvolvedor do serviço da API.

Se o cabeçalho estiver incluído, ele consiste em um único conjunto de dados e deve sempre ser o primeiro dado no arquivo.

Rodapés

Um rodapé pode ser fornecido ao usar formatos baseados em arquivo para indicar que não há mais dados a serem processados.

Ao processar, os dados encontrados após a linha de rodapé devem ser ignorados. Além disso, ao criar os dados, lembre-se de que os dados após a linha de rodapé serão ignorados.

Formatos de dados

Arquivos Delimitados

O padrão de fato da indústria são arquivos delimitados.

Arquivos delimitados por vírgula (valores separados por vírgula ou CSV) geralmente exigem encapsulamento de dados, geralmente com aspas duplas ("); as aspas duplas devem então ser escapadas, com uma barra invertida () ou aspas duplas duplas (" "). Para as inconsistências na implementação de CSV, recomenda-se usar guias como um delimitador, sem encapsulamento.Neste caso, os caracteres de tabulação devem ser removidos dos dados.Arquivos delimitados são geralmente mais rápidos para processar esses arquivos XML.

Arquivos XML

Existem alguns na indústria que preferem arquivos XML. XML permite uma representação mais clara das informações, pois suporta dados aninhados. Muitas empresas têm suporte limitado ou nenhum suporte para esse formato, por isso não é recomendado.

Codificação

Codificação UTF-8

Todos os dados devem ser codificados em UTF-8 para garantir compatibilidade máxima entre todos os sistemas.

Datas e Horários

Recomenda-se usar a hora UTC para todos os campos de data e hora para evitar confusão.

Mais algumas práticas recomendadas:Agendamento de EDI e transferência de arquivos

questionAnswers(2)

yourAnswerToTheQuestion