Azure Stream Analytics - Erro com o “carimbo de data / hora personalizado” ao aplicar a queda de janela

Question

Nov 06, 2017, 05:03 PM

Azure Stream Analytics - Erro com o “carimbo de data / hora personalizado” ao aplicar a queda de janela

Eu tenho um arquivo json como abaixo:

{"imei": {"imei": "358174069248418F", "imeiBinary": "NYF0BpJIQY8 =", "imeiNotEncoded": "358174069248418", "válido": 1}, "dataPackets": [["msy.mxp.datapacket .AlarmNotification ", {" versão ": 1," id ": 21," op ": 2," sizeDynamic ": 0," alarmStatus ": 4}], [" msy.mxp.datapacket.IOStatus ", {" versão ": 1," id ": 15," op ": 2," sizeDynamic ": 0," ioStatus ": 135," ioDirections ": 120}], [" msy.mxp.datapacket.LogicalStatus ", {" versão ": 1," id ": 16," op ": 2," sizeDynamic ": 0," logicStatus ": 5}], [" msy.mxp.datapacket.Position ", {" version ": 1," id ": 19," op ": 2," latitude ": 40.835243," longitude ": 14.246057," altitude ": 40," velocidade ": 0," percurso ": 68," gpsNum Satellite ": 5," glonassNum Satellite " : 1, "fixValid": 1, "timeValid": 1, "wgs84degMinFormat": 1, "glonass": 1, "fixMode": 3, "timestamp": {"timeSecFrom1Gen2000": 925560202, "time": 1490648755000} , "sizeDynamic": 0}]]}

e eu estou lendo a seguinte consulta:

WITH Datapackets AS
(
SELECT imei.imei as imei,
        persistent as persistent,
        [timestamp].[time] as input_time,
        compressed as compressed,
        GetArrayElement(dataPackets, 3) as position
FROM h24
), one as(
SELECT *,
GetRecordPropertyValue (GetArrayElement(position,1), 'timestamp') as position_timestamp --1st
from Datapackets 
), two as (
select
    imei,
    GetRecordPropertyValue (GetArrayElement(position,1), 'op') as position_OP,
    [position_timestamp].[time] as position_time,
    dateadd(S, [position_timestamp].[timeSecFrom1Gen2000], '1970-01-01') as timing,
GetRecordPropertyValue (GetArrayElement(position,1), 'latitude') as position_latitude,
GetRecordPropertyValue (GetArrayElement(position,1), 'longitude') as position_longitude,
GetRecordPropertyValue (GetArrayElement(position,1), 'altitude') as position_altitude,
GetRecordPropertyValue (GetArrayElement(position,1), 'speed') as position_speed
    from one) SELECT * from two

Agora quero criar um grupo de janelas caindo por 30 segundos da seguinte forma, mas tenho um problema que informa que a propriedade timestamp não é permitida para o arquivo de entrada "dois", aqui a consulta que eu uso

    WITH Datapackets AS
    (
    SELECT imei.imei as imei,
            persistent as persistent,
            [timestamp].[time] as input_time,
            compressed as compressed,
            GetArrayElement(dataPackets, 3) as position
    FROM h24
    ), one as(
    SELECT *,
    GetRecordPropertyValue (GetArrayElement(position,1), 'timestamp') as position_timestamp --1st
    from Datapackets 
    ), two as (
    select
        imei,
        GetRecordPropertyValue (GetArrayElement(position,1), 'op') as position_OP,
        [position_timestamp].[time] as position_time,
        dateadd(S, [position_timestamp].[timeSecFrom1Gen2000], '1970-01-01') as timing,
GetRecordPropertyValue (GetArrayElement(position,1), 'latitude') as position_latitude,
GetRecordPropertyValue (GetArrayElement(position,1), 'longitude') as position_longitude,
GetRecordPropertyValue (GetArrayElement(position,1), 'altitude') as position_altitude,
GetRecordPropertyValue (GetArrayElement(position,1), 'speed') as position_speed
        from one) SELECT imei, System.TimeStamp AS 'start', Avg(position_speed), max(position_latitude)  
FROM two TIMESTAMP BY TIMING GROUP BY imei, TumblingWindow(duration(second, 30))

O erro aparece nas duas últimas linhas (DE duas TIMESTAMP BY TIMING),

************** Atualização ,, Depois de investigar mais, descobri que só posso usar o carimbo de data / hora da opção na entrada e preciso usá-lo apenas se fizer um carimbo de data / hora personalizado para os eventos. Normalmente, eles têm o carimbo de data e hora da hora de chegada como padrão (https://msdn.microsoft.com/en-us/library/mt573293.aspx)

Agora, meu problema é como registrar os carimbos de data e hora em meus eventos com um campo de tempo registrado em uma matriz de terceiro nível no arquivo Json para poder fazer minha agregação.

Alguma sugestão sobre como eu lido com esse problema, obrigado

leaveComments