Почему кортеж? Это не очень читабельно ...

я есть CSV-файл. Я читаю это:

import pandas as pd
data = pd.read_csv('my_data.csv', sep=',')
data.head()

Это имеет вид как:

id    city    department    sms    category
01    khi      revenue      NaN       0
02    lhr      revenue      good      1
03    lhr      revenue      NaN       0

Я хочу удалить все строки, гдеsms столбец пуст / NaN. Какой эффективный способ сделать это?

 jezrael07 сент. 2017 г., 11:17
Я вновь открываю вопрос, потому что ОП нужен самый эффективный метод.

Ответы на вопрос(2)

Решение Вопроса

использованиеdropna с параметромsubset указать столбец для проверкиNaNs:

data = data.dropna(subset=['sms'])
print (data)
   id city department   sms  category
1   2  lhr    revenue  good         1

Другое решение сboolean indexing а такжеnotnull:

data = data[data['sms'].notnull()]
print (data)
   id city department   sms  category
1   2  lhr    revenue  good         1

Альтернатива сquery:

print (data.query("sms == sms"))
   id city department   sms  category
1   2  lhr    revenue  good         1

Задержки

#[300000 rows x 5 columns]
data = pd.concat([data]*100000).reset_index(drop=True)

In [123]: %timeit (data.dropna(subset=['sms']))
100 loops, best of 3: 19.5 ms per loop

In [124]: %timeit (data[data['sms'].notnull()])
100 loops, best of 3: 13.8 ms per loop

In [125]: %timeit (data.query("sms == sms"))
10 loops, best of 3: 23.6 ms per loop
 jezrael07 сент. 2017 г., 11:13
Я тоже был удивлен ...
 IanS07 сент. 2017 г., 11:13
Такdropna не самый быстрый ...
 coldspeed07 сент. 2017 г., 11:14
Удалил мой ответ, поэтому убрал время (иначе это могло бы смутить читателей)
 jezrael07 сент. 2017 г., 11:11
Добро пожаловать! Рад помочь!
 Sal A.07 сент. 2017 г., 11:10
Вау! Благодарю. Понятно, что.

Вы можете использовать методdropna за это:

data.dropna(axis=0, subset=('sms', ))

Увидетьдокументация для более подробной информации о параметрах.

Конечно, есть несколько способов сделать это, и есть небольшие различия в производительности. Если производительность не критична, я бы предпочел использоватьdropna() как это наиболее выразительно.

import pandas as pd
import numpy as np

i = 10000000

# generate dataframe with a few columns
df = pd.DataFrame(dict(
    a_number=np.random.randint(0,1e6,size=i),
    with_nans=np.random.choice([np.nan, 'good', 'bad', 'ok'], size=i),
    letter=np.random.choice(list('abcdefghijklmnop'), size=i))
                 )

# using notebook %%timeit
a = df.dropna(subset=['with_nans'])
#1.29 s ± 112 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)

# using notebook %%timeit
b = df[~df.with_nans.isnull()]
#890 ms ± 59.8 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)

# using notebook %%timeit
c = df.query('with_nans == with_nans')
#1.71 s ± 100 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)
 IanS07 сент. 2017 г., 11:08
Почему кортеж? Это не очень читабельно ...

Ваш ответ на вопрос