问题：FutureWarning：逐元素比较失败；返回标量，但将来将执行元素比较
我0.19.1在Python 3上使用Pandas 。我在这些代码行上收到警告。我正在尝试获取一个包含所有Peter在column处存在string的行号的列表Unnamed: 5。
df = pd.read_excel(xls_path)
myRows = df[df['Unnamed: 5'] == 'Peter'].index.tolist()
它产生一个警告：
"\Python36\lib\site-packages\pandas\core\ops.py:792: FutureWarning: elementwise
comparison failed; returning scalar, but in the future will perform
elementwise comparison
result = getattr(x, name)(y)"
这是什么FutureFarning，由于它似乎起作用，因此我应该忽略它。
回答 0
此FutureWarning并非来自Pandas，而是来自numpy，并且该错误也影响了matplotlib和其他漏洞，以下是在更接近问题根源的位置重现警告的方法：
import numpy as np
print(np.__version__) # Numpy version '1.12.0'
'x' in np.arange(5) #Future warning thrown here
FutureWarning: elementwise comparison failed; returning scalar instead, but in the
future will perform elementwise comparison
False
使用double equals运算符重现此错误的另一种方法：
import numpy as np
np.arange(5) == np.arange(5).astype(str) #FutureWarning thrown here
受此FutureWarning影响的Matplotlib示例在其颤动图实施下：https ://matplotlib.org/examples/pylab_examples/quiver_demo.html
这里发生了什么？
当您将字符串与numpy的数字类型进行比较时，Numpy和本机python之间会发生什么分歧。请注意，左操作数是python的草皮，是原始字符串，中间操作是python的草皮，而右操作数是numpy的草皮。您应该返回Python样式的Scalar还是Numpy样式的ndarray布尔值？Numpy说布尔的ndarray，Pythonic开发人员不同意。经典对峙。
如果数组中存在item，应该是元素比较还是标量？
如果您的代码或库使用in或==运算符将python字符串与numpy ndarrays比较，则它们不兼容，因此，当您尝试使用它时，它将返回标量，但仅在现在。警告表示将来这种行为可能会改变，因此，如果python / numpy决定采用Numpy样式，则您的代码会全程吐槽。
提交的错误报告：
Numpy和Python处于僵持状态，目前操作返回标量，但将来可能会改变。
https://github.com/numpy/numpy/issues/6784
https://github.com/pandas-dev/pandas/issues/7830
两种解决方法：
无论您锁定Python和numpy的版本，忽略这些警告并期望行为不改变，或转换的左侧和右侧的操作数==，并in从一个numpy的类型或原始数值Python类型。
全局禁止警告：
import warnings
import numpy as np
warnings.simplefilter(action='ignore', category=FutureWarning)
print('x' in np.arange(5)) #returns False, without Warning
逐行抑制警告。
import warnings
import numpy as np
with warnings.catch_warnings():
warnings.simplefilter(action='ignore', category=FutureWarning)
print('x' in np.arange(2)) #returns False, warning is suppressed
print('x' in np.arange(10)) #returns False, Throws FutureWarning
只需按名称隐藏警告，然后在其旁边添加一个大声注释，提及python和numpy的当前版本，并说此代码很脆弱，并且需要这些版本，并在此处添加了链接。踢罐子的路。
TLDR： pandas是绝地武士；numpy是小屋 并且python是银河帝国。 https://youtu.be/OZczsiCfQQk?t=3
回答 1
当我尝试将index_col读取文件设置为Panda的数据帧时，出现相同的错误：
df = pd.read_csv('my_file.tsv', sep='\t', header=0, index_col=['0']) ## or same with the following
df = pd.read_csv('my_file.tsv', sep='\t', header=0, index_col=[0])
我以前从未遇到过这样的错误。我仍然试图找出背后的原因（使用@Eric Leschinski的解释和其他解释）。
无论如何，在我找出原因之前，以下方法可以立即解决该问题：
df = pd.read_csv('my_file.tsv', sep='\t', header=0) ## not setting the index_col
df.set_index(['0'], inplace=True)
一旦弄清这种行为的原因，我将立即更新。
回答 2
我对同一条警告消息的体验是由TypeError引起的。
TypeError：类型比较无效
因此，您可能要检查 Unnamed: 5
for x in df['Unnamed: 5']:
print(type(x)) # are they 'str' ?
这是我可以复制警告消息的方法：
import pandas as pd
import numpy as np
df = pd.DataFrame(np.random.randn(3, 2), columns=['num1', 'num2'])
df['num3'] = 3
df.loc[df['num3'] == '3', 'num3'] = 4 # TypeError and the Warning
df.loc[df['num3'] == 3, 'num3'] = 4 # No Error
希望能帮助到你。
回答 3
无法击败Eric Leschinski的详细答案，但这是针对我认为尚未提及的原始问题的快速解决方法-将字符串放在列表中并使用.isin而不是==
例如：
import pandas as pd
import numpy as np
df = pd.DataFrame({"Name": ["Peter", "Joe"], "Number": [1, 2]})
# Raises warning using == to compare different types:
df.loc[df["Number"] == "2", "Number"]
# No warning using .isin:
df.loc[df["Number"].isin(["2"]), "Number"]
回答 4
一个快速的解决方法是使用numpy.core.defchararray。我也遇到了同样的警告消息，并且能够使用上述模块来解决它。
import numpy.core.defchararray as npd
resultdataset = npd.equal(dataset1, dataset2)
回答 5
埃里克（Eric）的回答很有帮助，说明了麻烦来自将Pandas系列（包含NumPy数组）与Python字符串进行比较。不幸的是，他的两个解决方法都只是抑制了警告。
要首先编写不会引起警告的代码，请显式地将字符串与Series的每个元素进行比较，并为每个元素获取单独的布尔值。例如，您可以使用map和匿名函数。
myRows = df[df['Unnamed: 5'].map( lambda x: x == 'Peter' )].index.tolist()
回答 6
如果数组不太大或数组不太多，则可以通过将其左侧强制==为字符串来摆脱困境：
myRows = df[str(df['Unnamed: 5']) == 'Peter'].index.tolist()
但这如果df['Unnamed: 5']是字符串则要慢约1.5倍，如果df['Unnamed: 5']是小的numpy数组（长度= 10）则要慢25-30倍，如果是长度为100的numpy数组则要慢150-160倍（时间超过500次试验） 。
a = linspace(0, 5, 10)
b = linspace(0, 50, 100)
n = 500
string1 = 'Peter'
string2 = 'blargh'
times_a = zeros(n)
times_str_a = zeros(n)
times_s = zeros(n)
times_str_s = zeros(n)
times_b = zeros(n)
times_str_b = zeros(n)
for i in range(n):
t0 = time.time()
tmp1 = a == string1
t1 = time.time()
tmp2 = str(a) == string1
t2 = time.time()
tmp3 = string2 == string1
t3 = time.time()
tmp4 = str(string2) == string1
t4 = time.time()
tmp5 = b == string1
t5 = time.time()
tmp6 = str(b) == string1
t6 = time.time()
times_a[i] = t1 - t0
times_str_a[i] = t2 - t1
times_s[i] = t3 - t2
times_str_s[i] = t4 - t3
times_b[i] = t5 - t4
times_str_b[i] = t6 - t5
print('Small array:')
print('Time to compare without str conversion: {} s. With str conversion: {} s'.format(mean(times_a), mean(times_str_a)))
print('Ratio of time with/without string conversion: {}'.format(mean(times_str_a)/mean(times_a)))
print('\nBig array')
print('Time to compare without str conversion: {} s. With str conversion: {} s'.format(mean(times_b), mean(times_str_b)))
print(mean(times_str_b)/mean(times_b))
print('\nString')
print('Time to compare without str conversion: {} s. With str conversion: {} s'.format(mean(times_s), mean(times_str_s)))
print('Ratio of time with/without string conversion: {}'.format(mean(times_str_s)/mean(times_s)))
结果：
Small array:
Time to compare without str conversion: 6.58464431763e-06 s. With str conversion: 0.000173756599426 s
Ratio of time with/without string conversion: 26.3881526541
Big array
Time to compare without str conversion: 5.44309616089e-06 s. With str conversion: 0.000870866775513 s
159.99474375821288
String
Time to compare without str conversion: 5.89370727539e-07 s. With str conversion: 8.30173492432e-07 s
Ratio of time with/without string conversion: 1.40857605178
回答 7
就我而言，发出警告的原因仅仅是布尔索引的常规类型-因为该系列只有np.nan。示范（熊猫1.0.3）：
>>> import pandas as pd
>>> import numpy as np
>>> pd.Series([np.nan, 'Hi']) == 'Hi'
0 False
1 True
>>> pd.Series([np.nan, np.nan]) == 'Hi'
~/anaconda3/envs/ms3/lib/python3.7/site-packages/pandas/core/ops/array_ops.py:255: FutureWarning: elementwise comparison failed; returning scalar instead, but in the future will perform elementwise comparison
res_values = method(rvalues)
0 False
1 False
我认为对于pandas 1.0，他们确实希望您使用'string'允许pd.NA值的新数据类型：
>>> pd.Series([pd.NA, pd.NA]) == 'Hi'
0 False
1 False
>>> pd.Series([np.nan, np.nan], dtype='string') == 'Hi'
0 <NA>
1 <NA>
>>> (pd.Series([np.nan, np.nan], dtype='string') == 'Hi').fillna(False)
0 False
1 False
不喜欢他们在何时开始使用布尔索引等日常功能。
回答 8
我收到此警告是因为我认为我的列包含空字符串，但是在检查时，它包含了np.nan！
if df['column'] == '':
将我的列更改为空字符串有帮助:)
回答 9
我已经比较了几种可能的方法，包括熊猫，几种numpy方法和列表理解方法。
首先，让我们从基线开始：
>>> import numpy as np
>>> import operator
>>> import pandas as pd
>>> x = [1, 2, 1, 2]
>>> %time count = np.sum(np.equal(1, x))
>>> print("Count {} using numpy equal with ints".format(count))
CPU times: user 52 µs, sys: 0 ns, total: 52 µs
Wall time: 56 µs
Count 2 using numpy equal with ints
因此，我们的基准是该计数应该正确2，并且我们应该大约50 us。
现在，我们尝试使用朴素的方法：
>>> x = ['s', 'b', 's', 'b']
>>> %time count = np.sum(np.equal('s', x))
>>> print("Count {} using numpy equal".format(count))
CPU times: user 145 µs, sys: 24 µs, total: 169 µs
Wall time: 158 µs
Count NotImplemented using numpy equal
/Library/Frameworks/Python.framework/Versions/3.6/lib/python3.6/site-packages/ipykernel_launcher.py:1: FutureWarning: elementwise comparison failed; returning scalar instead, but in the future will perform elementwise comparison
"""Entry point for launching an IPython kernel.
在这里，我们得到了错误的答案（NotImplemented != 2），这花了我们很长时间，并且引发了警告。
因此，我们将尝试另一种幼稚的方法：
>>> %time count = np.sum(x == 's')
>>> print("Count {} using ==".format(count))
CPU times: user 46 µs, sys: 1 µs, total: 47 µs
Wall time: 50.1 µs
Count 0 using ==
同样，错误答案（0 != 2）。这更加隐蔽，因为没有后续警告（0可以像一样传递2）。
现在，让我们尝试一个列表理解：
>>> %time count = np.sum([operator.eq(_x, 's') for _x in x])
>>> print("Count {} using list comprehension".format(count))
CPU times: user 55 µs, sys: 1 µs, total: 56 µs
Wall time: 60.3 µs
Count 2 using list comprehension
我们在这里得到正确的答案，而且速度很快！
另一种可能性pandas：
>>> y = pd.Series(x)
>>> %time count = np.sum(y == 's')
>>> print("Count {} using pandas ==".format(count))
CPU times: user 453 µs, sys: 31 µs, total: 484 µs
Wall time: 463 µs
Count 2 using pandas ==
慢，但是正确！
最后，我将使用的选项是：将numpy数组转换为object类型：
>>> x = np.array(['s', 'b', 's', 'b']).astype(object)
>>> %time count = np.sum(np.equal('s', x))
>>> print("Count {} using numpy equal".format(count))
CPU times: user 50 µs, sys: 1 µs, total: 51 µs
Wall time: 55.1 µs
Count 2 using numpy equal
快速正确！
回答 10
我有导致错误的此代码：
for t in dfObj['time']:
if type(t) == str:
the_date = dateutil.parser.parse(t)
loc_dt_int = int(the_date.timestamp())
dfObj.loc[t == dfObj.time, 'time'] = loc_dt_int
我将其更改为：
for t in dfObj['time']:
try:
the_date = dateutil.parser.parse(t)
loc_dt_int = int(the_date.timestamp())
dfObj.loc[t == dfObj.time, 'time'] = loc_dt_int
except Exception as e:
print(e)
continue
为了避免比较，它会发出警告-如上所述。我只需要避免这种异常，因为dfObj.loc在for循环中，也许有一种方法可以告诉它不要检查已更改的行。
