Obtendo "Não há espaço no dispositivo" por aprox. 10 GB de dados em instâncias do EMR m1.large
Estou recebendo um erro "Não há espaço disponível no dispositivo" quando estou executando minhas tarefas do Amazon EMR usando m1.large como o tipo de instância para as instâncias de hadoop a serem criadas pelo fluxo de trabalho. O trabalho gera aprox. 10 GB de dados no máximo e uma vez que a capacidade de uma instância m1.large deve ser de 420 GB * 2 (de acordo com:Tipos de instância do EC2 ). Estou confuso como apenas 10 GB de dados podem levar a uma mensagem "espaço em disco cheio". Estou ciente da possibilidade de que esse tipo de erro também possa ser gerado se tivermos esgotado completamente o número total de inodes permitidos no sistema de arquivos, mas isso é como um grande número no valor de milhões e tenho certeza de que meu trabalho não é produzindo muitos arquivos. Eu vi que quando eu tento criar uma instância do EC2 independentemente do tipo m1.large por padrão atribui um volume raiz de 8GB para ele. Esta poderia ser a razão por trás do provisionamento de instâncias no EMR também? Então, quando os discos de tamanho 420GB são alocados para uma instância?
Além disso, aqui está a saída de "df -hi" e "mount"
$ df -hi Filesystem Inodes IUsed IFree IUse% Mounted on /dev/xvda1 640K 100K 541K 16% / tmpfs 932K 3 932K 1% /lib/init/rw udev 930K 454 929K 1% /dev tmpfs 932K 3 932K 1% /dev/shm ip-10-182-182-151.ec2.internal:/mapr 100G 50G 50G 50% /mapr $ mount /dev/xvda1 on / type ext3 (rw,noatime) tmpfs on /lib/init/rw type tmpfs (rw,nosuid,mode=0755) proc on /proc type proc (rw,noexec,nosuid,nodev) sysfs on /sys type sysfs (rw,noexec,nosuid,nodev) udev on /dev type tmpfs (rw,mode=0755) tmpfs on /dev/shm type tmpfs (rw,nosuid,nodev) devpts on /dev/pts type devpts (rw,noexec,nosuid,gid=5,mode=620) /var/run on /run type none (rw,bind) /var/lock on /run/lock type none (rw,bind) /dev/shm on /run/shm type none (rw,bind) rpc_pipefs on /var/lib/nfs/rpc_pipefs type rpc_pipefs (rw) ip-10-182-182-151.ec2.internal:/mapr on /mapr type nfs (rw,addr=10.182.182.151)
$ lsblk NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT xvda1 202:1 0 10G 0 disk / xvdb 202:16 0 420G 0 disk xvdc 202:32 0 420G 0 disk