Tengo un archivo csv de una base de datos que he convertido en un Pandas DataFrame que estoy tratando de limpiar. Uno de los problemas es que se han ingresado múltiples valores en celdas individuales que deben dividirse. El factor de complicación es que hay comentarios de cadena (también con comas) que deben mantenerse intactos. El problema se ilustra en el siguiente ejemplo, en forma de serie.

Lo que tengo:

Index  |  values    
0      | 2.54,3.563
1      | bad design, right?

Lo que quiero:

Index  |   level_0   |  values      
0      |     0       |    2.54   
1      |     0       |    3.563 
2      |     1       |    bad design, right?      

Como puede ver, hay comas que separan los valores que quiero dividir, sin espacio después de la coma, mientras que las comas en los comentarios de cadena tienen espacios después de ellas. Parece una cosa fácil de aplicar regex para dividir. Mi solución a continuación, usando una estrategia tomada de otra solución de StackOverflow, es usar Series.str.split para separar los valores en columnas separadas, luego apilar las columnas. Esa estrategia funciona muy bien. Sin embargo, en este caso, la expresión regular aparentemente no identifica la división. Aquí está mi código:

Import pandas as pd

# Example Series:
data = pd.Series(("2.54,3.56", "3.24,5.864", "bad design, right?"), name = "values")

# Split cells with multiple entries into separate rows 
split_data = data.str.split('[,]\b').apply(pd.Series)

# Stack the results and pull out the index into a column (which is sample number in my case)
split_data = split_data.stack().reset_index(0)
split_data = split_data.reset_index(drop=True)

Soy nuevo en las expresiones regulares, pero de las guías que he visto y del uso de un par de cajas de arena de expresiones regulares específicas de Python, parece que la expresión regular [,] \ b debería dividir los valores, pero no los comentarios. Sin embargo, no divide nada con esta expresión regular.

Aquí está el resultado del depurador, que dice que esto debería funcionar:Demo de Debuggex

¿Me estoy perdiendo algo fácil aquí? ¿Alguna mejor idea para hacer que esto funcione? Estoy usando Python 3.5, si eso hace la diferencia. Gracias.