Получение «Нет места на устройстве» в течение ок. 10 ГБ данных по экземплярам EMR m1.large
Я получаю сообщение об ошибке «Нет свободного места на устройстве» при выполнении заданий Amazon EMR с использованием m1.large в качестве типа экземпляра для экземпляров hadoop, создаваемых потоком заданий. Работа генерирует ок. Максимум 10 ГБ данных, а емкость экземпляра m1.large должна составлять 420 ГБ * 2 (согласно:Типы экземпляров EC2 ). Я запутался, как только 10 ГБ данных могли привести к сообщению типа «полное дисковое пространство». Я знаю о возможности того, что такого рода ошибки могут также возникать, если мы полностью исчерпали общее число inode, разрешенных в файловой системе, но это похоже на большое число, равное миллионам, и я вполне уверен, что моя работа не производит столько файлов. Я видел, что когда я пытаюсь создать экземпляр EC2 независимо от типа m1.large, он по умолчанию назначает ему корневой том 8 ГБ. Может ли это быть причиной подготовки экземпляров в EMR? Затем, когда диски размером 420 ГБ выделяются для экземпляра?
Кроме того, здесь выводятся "df -hi" и "mount"
$ df -hi Filesystem Inodes IUsed IFree IUse% Mounted on /dev/xvda1 640K 100K 541K 16% / tmpfs 932K 3 932K 1% /lib/init/rw udev 930K 454 929K 1% /dev tmpfs 932K 3 932K 1% /dev/shm ip-10-182-182-151.ec2.internal:/mapr 100G 50G 50G 50% /mapr $ mount /dev/xvda1 on / type ext3 (rw,noatime) tmpfs on /lib/init/rw type tmpfs (rw,nosuid,mode=0755) proc on /proc type proc (rw,noexec,nosuid,nodev) sysfs on /sys type sysfs (rw,noexec,nosuid,nodev) udev on /dev type tmpfs (rw,mode=0755) tmpfs on /dev/shm type tmpfs (rw,nosuid,nodev) devpts on /dev/pts type devpts (rw,noexec,nosuid,gid=5,mode=620) /var/run on /run type none (rw,bind) /var/lock on /run/lock type none (rw,bind) /dev/shm on /run/shm type none (rw,bind) rpc_pipefs on /var/lib/nfs/rpc_pipefs type rpc_pipefs (rw) ip-10-182-182-151.ec2.internal:/mapr on /mapr type nfs (rw,addr=10.182.182.151)
$ lsblk NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT xvda1 202:1 0 10G 0 disk / xvdb 202:16 0 420G 0 disk xvdc 202:32 0 420G 0 disk