问题:Python Pandas:如何仅读取CSV文件的前n行?
我有一个非常大的数据集,我无法读取其中的整个数据集。因此,我正在考虑只读取其中的一个数据块进行训练,但是我不知道该怎么做。任何想法将不胜感激。
回答 0
如果您只想读取前999,999行(非标题):
read_csv(..., nrows=999999)
如果您只想读取1,000,000 … 1,999,999行
read_csv(..., skiprows=1000000, nrows=999999)
nrows:int,默认值无要读取的文件行数。对读取大文件有用*
skiprows:类似于列表或整数的行号,在文件开头要跳过(索引为0)或要跳过的行数(整数)
对于大文件,您可能还需要使用chunksize:
chunksize:int,默认为None返回TextFileReader对象进行迭代