Gere as cores dominantes para uma imagem RGB com XMLHttpRequest

Uma observação para os leitores: Esta é uma pergunta longa, mas precisa de um pano de fundo para entender a pergunta.

otécnica de quantização de cores é comumente usado para obter ocores dominantes de uma imagem. Uma das bibliotecas conhecidas que fazem a quantização de cores éLeptonica através deQuantização de corte mediano modificada (MMCQ) e quantização de octree (OQ) Github'sLadrão de cores by @lokesh é uma implementação muito simples em JavaScript do algoritmo MMCQ:

var colorThief = new ColorThief();
colorThief.getColor(sourceImage);

Tecnicamente, a imagem em um<img/> O elemento HTML é suportado em um<canvas/> elemento:

var CanvasImage = function (image) {
    this.canvas  = docum,ent.createElement('canvas');
    this.context = this.canvas.getContext('2d');

    document.body.appendChild(this.canvas);

    this.width  = this.canvas.width  = image.width;
    this.height = this.canvas.height = image.height;

    this.context.drawImage(image, 0, 0, this.width, this.height);
};

E esse é o problema comTVML, como veremos mais adiante.

Outra implementação que conheci recentemente foi linkada neste artigoUsando imagemagick, awk e kmeans para encontrar cores dominantes nas imagens que liga paraUsando python para gerar impressionantes temas da área de trabalho linux. O autor postou um artigo sobreUsando python e k-means para encontrar as cores dominantes nas imagens que foi usado lá (desculpe por todos esses links, mas estou voltando ao meu histórico ...).

O autor foi super produtivo e também adicionou uma versão JavaScript que estou postando aqui:Usando JavaScript e k-means para encontrar as cores dominantes nas imagens

Nesse caso, estamos gerando as cores dominantes de uma imagem, não usando o algoritmo MMCQ (ou OQ), mas K-Means. O problema é que a imagem também deve ser:

<canvas id="canvas" style="display: none;" width="200" height="200"></canvas>

e depois

function analyze(img_elem) {
        var ctx = document.getElementById('canvas').getContext('2d')
          , img = new Image();
        img.onload = function() {
          var results = document.getElementById('results');
          results.innerHTML = 'Waiting...';
          var colors = process_image(img, ctx)
            , p1 = document.getElementById('c1')
            , p2 = document.getElementById('c2')
            , p3 = document.getElementById('c3');
          p1.style.backgroundColor = colors[0];
          p2.style.backgroundColor = colors[1];
          p3.style.backgroundColor = colors[2];
          results.innerHTML = 'Done';
        }
        img.src = img_elem.src;
      }

Isso ocorre porque o Canvas possui um método getContext (), que expõe APIs de desenho de imagem 2D - consulteUma introdução à API Canvas 2D

Este contexto ctx é passado para a função de processamento de imagem

  function process_image(img, ctx) {
    var points = [];
    ctx.drawImage(img, 0, 0, 200, 200);
    data = ctx.getImageData(0, 0, 200, 200).data;
    for (var i = 0, l = data.length; i < l;  i += 4) {
      var r = data[i]
        , g = data[i+1]
        , b = data[i+2];
      points.push([r, g, b]);
    }
    var results = kmeans(points, 3, 1)
     , hex = [];
    for (var i = 0; i < results.length; i++) {
      hex.push(rgbToHex(results[i][0]));
    }
    return hex;
  }

Assim, você pode desenhar uma imagem na tela através do contexto e obter dados da imagem:

ctx.drawImage(img, 0, 0, 200, 200);
data = ctx.getImageData(0, 0, 200, 200).data;

Outra boa solução está no CoffeeScript,ColorTunes, mas isso também está usando um:

ColorTunes.getColorMap = function(canvas, sx, sy, w, h, nc) {
    var index, indexBase, pdata, pixels, x, y, _i, _j, _ref, _ref1;
    if (nc == null) {
      nc = 8;
    }
    pdata = canvas.getContext("2d").getImageData(sx, sy, w, h).data;
    pixels = [];
    for (y = _i = sy, _ref = sy + h; _i < _ref; y = _i += 1) {
      indexBase = y * w * 4;
      for (x = _j = sx, _ref1 = sx + w; _j < _ref1; x = _j += 1) {
        index = indexBase + (x * 4);
        pixels.push([pdata[index], pdata[index + 1], pdata[index + 2]]);
      }
    }
    return (new MMCQ).quantize(pixels, nc);
  };

Mas espere, não temos<canvas/> elemento emTVML!

Obviamente, existem soluções nativas como Objective-CColorCube, DominantColor - isso está usando K-means

e o muito legal e reutilizávelColorArt por @AaronBrethorst da CocoaControls.

Apesar de poder ser usado em um aplicativo TVML por meio de uma ponte JavaScriptCore nativa - consulteComo conectar o TVML / JavaScriptCore ao UIKit / Objective-C (Swift)?

meu objetivo é fazer esse trabalho completamenteTVJS eTVML.

A implementação mais simples do MMCQ JavaScript não precisa de um Canvas: consultePorta Javascript básica do MMCQ (quantização de corte médio modificada) porNick Rabinowitz, mas precisa da matriz RGB da imagem:

var cmap = MMCQ.quantize(pixelArray, colorCount);

que é retirado do HTML<canvas/> e essa é a razão disso!

function createPalette(sourceImage, colorCount) {

    // Create custom CanvasImage object
    var image = new CanvasImage(sourceImage),
        imageData = image.getImageData(),
        pixels = imageData.data,
        pixelCount = image.getPixelCount();

    // Store the RGB values in an array format suitable for quantize function
    var pixelArray = [];
    for (var i = 0, offset, r, g, b, a; i < pixelCount; i++) {
        offset = i * 4;
        r = pixels[offset + 0];
        g = pixels[offset + 1];
        b = pixels[offset + 2];
        a = pixels[offset + 3];
        // If pixel is mostly opaque and not white
        if (a >= 125) {
            if (!(r > 250 && g > 250 && b > 250)) {
                pixelArray.push([r, g, b]);
            }
        }
    }

    // Send array to quantize function which clusters values
    // using median cut algorithm

    var cmap = MMCQ.quantize(pixelArray, colorCount);
    var palette = cmap.palette();

    // Clean up
    image.removeCanvas();

    return palette;
}

[PERGUNTA, QUESTÃO] Como gerar as cores dominantes de uma imagem RGB sem usar o HTML5<canvas/>, mas em JavaScript puro de uma imagemByteArray buscado comXMLHttpRequest?

[ATUALIZAR] Publiquei esta pergunta emLadrão de cores repositório github, adaptando os cálculos da matriz RGB à última base de código. A solução que tentei foi esta

ColorThief.prototype.getPaletteNoCanvas = function(sourceImageURL, colorCount, quality, done) {
  var xhr = new XMLHttpRequest();
  xhr.open('GET', sourceImageURL, true);
  xhr.responseType = 'arraybuffer';
  xhr.onload = function(e) {
    if (this.status == 200) {

      var uInt8Array = new Uint8Array(this.response);
      var i = uInt8Array.length;
      var biStr = new Array(i);
      while (i--)
      { biStr[i] = String.fromCharCode(uInt8Array[i]);
      }

      if (typeof colorCount === 'undefined') {
          colorCount = 10;
      }
      if (typeof quality === 'undefined' || quality < 1) {
          quality = 10;
      }

      var pixels     = uInt8Array;
      var pixelCount = 152 * 152 * 4 // this should be width*height*4

      // Store the RGB values in an array format suitable for quantize function
      var pixelArray = [];
      for (var i = 0, offset, r, g, b, a; i < pixelCount; i = i + quality) {
          offset = i * 4;
          r = pixels[offset + 0];
          g = pixels[offset + 1];
          b = pixels[offset + 2];
          a = pixels[offset + 3];
          // If pixel is mostly opaque and not white
          if (a >= 125) {
              if (!(r > 250 && g > 250 && b > 250)) {
                  pixelArray.push([r, g, b]);
              }
          }
      }

      // Send array to quantize function which clusters values
      // using median cut algorithm
      var cmap    = MMCQ.quantize(pixelArray, colorCount);
      var palette = cmap? cmap.palette() : null;
      done.apply(this,[ palette ])

    } // 200
  };
  xhr.send();
}

mas não devolve a matriz de cores RGB correta.

[ATUALIZAR] Graças a todas as sugestões, consegui fazê-lo funcionar. Agora, um exemplo completo está disponível emGithub,

questionAnswers(1)

yourAnswerToTheQuestion