导读:今天首席CTO笔记来给各位分享关于python中pd的一行多少值的相关内容,如果能碰巧解决你现在面临的问题,别忘了关注本站,现在开始吧!
请问怎么用python写出“一行里面只要有一个大于100的值,即输出整行”的代码?
import pandas
def compare():
data = pandas.read_csv(r'C:\Users\admin\Desktop\1.csv', sep='\t')
data1 = pandas.DataFrame(data=None, index=None, columns=data.columns)
for i in range(data.shape[0]):
for j in range(data.shape[1]):
if data.iloc[i, j] 100:
data1 = data1.append(data.iloc[i], ignore_index=True)
break
print(data1)
compare()
我的原数据是csv文件,里面信息是这样的
输出的结果是
可以看到一行里没有超过100的都被过滤掉了,用的时候把文件位置改一下
python pandas 怎样高效地添加一行数据
定义行 row = pd.DataFrame(row_values,column_headers)
追加行 df.append(row,ignore_index=True)
举例 :
row = pd.DataFrame(['python', 'pandas', 10], ['name','lib','rank'])
df.append(row,ignore_index=True)
python里dataframe怎么设置刻度
人工智能原理与实践 全面涵盖人工智能和数据科学各个重要体系经典
数据科学家最常用的数据表格工具当属 pandas; 通过pandas表格,可以方便的展示表格(dataframe)和分析表格。而表格的格式设置不好,会影响分析效率。
所谓磨刀不误砍柴工,工欲善其事必先利其器, 下面大家了解一下常用的几种设置方法:
显示更多行
显示更多列
改变列宽
设置float列的精度
数字格式化显示
更改绘图方法
配置info()的输出
打印出当前设置并重置所有选项
1. 显示更多行
默认设置,pandas 是不超出屏幕的显示范围的,如果表的行数很多,它会截断中间的行只显示一部分。有些时候,如果需要查看的数据的总行数不多,可以通过设置display.max_rows来控制显示的最大行数,比如设置显示200行数据,从而一次性查看数据:
import pandas as pd
pd.set_option('display.max_rows', 200)
# 或者这样设置
# pd.options.display.max_rows = 200
登录后复制
但当数据的行数超过了display.max_rows,那么display.min_rows将确定显示的部分有多少行。因为display.min_rows的默认行数为10,因此数据一般显示为前5行数据,和后5行数据。
同理,也可根据自己的习惯显示可显示的行数,比如20
pd.set_option('display.min_rows', 20)
# pd.options.display.min_rows = 20
登录后复制
如果需要恢复默认的设置,可以这样重置为默认情况:
# 重置
pd.reset_option('display.max_rows')
登录后复制
2. 显示更多列
行可以设置,同样的列也可以设置,display.max_columns控制着可显示的列数,默认值为20。
pd.get_option('display.max_columns')
# pd.options.display.max_columns
20
登录后复制
3. 改变列宽
pandas对列中显示的字符数有一些限制,默认值为50字符。所以,有的值字符过长就会显示省略号。如果想全部显示,可以设置display.max_colwidth,比如设置成500。
pd.set_option ('display.max_colwidth',500)
# pd.options.display.max_colwidth = 500
登录后复制
4. 设置float列的精度
对于float浮点型数据,pandas默认情况下只显示小数点后6位。我们可以通过预先设置display.precision让其只显示2位,避免后面重复操作。
pd.set_option( 'display.precision',2)
# pd.options.display.precision = 2
登录后复制
这个设置不影响底层数据,它只影响浮动列的显示。
5. 数字格式化显示
pandas中有一个选项display.float_formatoption可以用来格式化任何浮点列。这个仅适用于浮点列,对于其他数据类型,必须将它们转换为浮点数才可以。
用逗号格式化大值数字
例如 1200000 这样的大数字看起来很不方便,所以我们用逗号进行分隔。
pd.set_option('display.float_format','{:,}'.format)
登录后复制
设置数字精度
和上面display.precision有点类似,假如我们只关心小数点后的2位数字,我们可以这样设置格式化:
pd.set_option('display.float_format', '{:,.2f}'.format)
登录后复制
百分号格式化
如果我们要显示一个百分比的列,可以这样设置。
pd.set_option('display.float_format', '{:.2f}%'.format)
登录后复制
6. 更改绘图方法
默认情况下,pandas使用matplotlib作为绘图后端。从 0.25 版本开始,pandas提供了使用不同后端选择,比如plotly,bokeh等第三方库,但前提是你需要先安装起来。
设置很简单,只要安装好三方库后,同样只需要一行。
import pandas as pd
import numpy as np
pd.set_option('plotting.backend', 'altair')
data = pd.Series(np.random.randn(100).cumsum())
data.plot()
登录后复制
7. 配置info()的输出
pandas中我们经常要使用info()来快速查看DataFrame的数据情况。但是,info这个方法对要分析的最大列数是有默认限制的,并且如果数据集中有null,那么在大数据集计数统计时会非常慢。
pandas提供了两种选择:
display.max_info_columns: 设置要分析的最大列数,默认为100。
display.max_info_rows: 设置计数null时的阈值,默认为1690785。
登录后复制
比如,在分析有 150 个特征的数据集时,我们可以设置display.max_info_columns为涵盖所有列的值,比如将其设置为 200:
pd.set_option('display.max_info_columns', 200)
登录后复制
在分析大型数据集时,df.info()由于要计算所有null,导致速度很慢。因此我们可以简单地设置display.max_info_rows为一个小的值来避免计数,例如只在行数不超过5时才计数null:
pd.set_option('display.max_info_rows', 5)
登录后复制
8. 打印出当前设置并重置所有选项
pd.describe_option()将打印出设置的描述及其当前值。
pd.describe_option()
登录后复制
还可以打印特定的选项,例如,行显示。
# 具体的搜索
pd.describe_option('rows')
登录后复制
最后,我们还可以直接全部重置。
pd.reset_option('all')
登录后复制
总结
以上就是常用set_option的使用,大家可以一次性设置如下:
pd.set_option('display.max_rows',xxx) # 最大行数
pd.set_option('display.min_rows',xxx) # 最小显示行数
pd.set_option('display.max_columns',xxx) # 最大显示列数
pd.set_option ('display.max_colwidth',xxx) #最大列字符数
pd.set_option( 'display.precision',2) # 浮点型精度
pd.set_option('display.float_format','{:,}'.format) #逗号分隔数字
pd.set_option('display.float_format', '{:,.2f}'.format) #设置浮点精度
pd.set_option('display.float_format', '{:.2f}%'.format) #百分号格式化
pd.set_option('plotting.backend', 'altair') # 更改后端绘图方式
pd.set_option('display.max_info_columns', 200) # info输出最大列数
pd.set_option('display.max_info_rows', 5) # info计数null时的阈值
pd.describe_option() #展示所有设置和描述
pd.reset_option('all') #重置所有设置选项
登录后复制
Python pandas用法
在Python中,pandas是基于NumPy数组构建的,使数据预处理、清洗、分析工作变得更快更简单。pandas是专门为处理表格和混杂数据设计的,而NumPy更适合处理统一的数值数组数据。
使用下面格式约定,引入pandas包:
pandas有两个主要数据结构:Series和DataFrame。
Series是一种类似于一维数组的对象,它由 一组数据 (各种NumPy数据类型)以及一组与之相关的 数据标签(即索引) 组成,即index和values两部分,可以通过索引的方式选取Series中的单个或一组值。
pd.Series(list,index=[ ]) ,第二个参数是Series中数据的索引,可以省略。
Series类型索引、切片、运算的操作类似于ndarray,同样的类似Python字典类型的操作,包括保留字in操作、使用.get()方法。
Series和ndarray之间的主要区别在于Series之间的操作会根据索引自动对齐数据。
DataFrame是一个表格型的数据类型,每列值类型可以不同,是最常用的pandas对象。DataFrame既有行索引也有列索引,它可以被看做由Series组成的字典(共用同一个索引)。DataFrame中的数据是以一个或多个二维块存放的(而不是列表、字典或别的一维数据结构)。
pd.DataFrame(data,columns = [ ],index = [ ]) :columns和index为指定的列、行索引,并按照顺序排列。
如果创建时指定了columns和index索引,则按照索引顺序排列,并且如果传入的列在数据中找不到,就会在结果中产生缺失值:
数据索引 :Series和DataFrame的索引是Index类型,Index对象是不可修改,可通过索引值或索引标签获取目标数据,也可通过索引使序列或数据框的计算、操作实现自动化对齐。索引类型index的常用方法:
重新索引 :能够改变、重排Series和DataFrame索引,会创建一个新对象,如果某个索引值当前不存在,就引入缺失值。
df.reindex(index, columns ,fill_value, method, limit, copy ) :index/columns为新的行列自定义索引;fill_value为用于填充缺失位置的值;method为填充方法,ffill当前值向前填充,bfill向后填充;limit为最大填充量;copy 默认True,生成新的对象,False时,新旧相等不复制。
删除指定索引 :默认返回的是一个新对象。
.drop() :能够删除Series和DataFrame指定行或列索引。
删除一行或者一列时,用单引号指定索引,删除多行时用列表指定索引。
如果删除的是列索引,需要增加axis=1或axis='columns'作为参数。
增加inplace=True作为参数,可以就地修改对象,不会返回新的对象。
在pandas中,有多个方法可以选取和重新组合数据。对于DataFrame,表5-4进行了总结
适用于Series和DataFrame的基本统计分析函数 :传入axis='columns'或axis=1将会按行进行运算。
.describe() :针对各列的多个统计汇总,用统计学指标快速描述数据的概要。
.sum() :计算各列数据的和
.count() :非NaN值的数量
.mean( )/.median() :计算数据的算术平均值、算术中位数
.var()/.std() :计算数据的方差、标准差
.corr()/.cov() :计算相关系数矩阵、协方差矩阵,是通过参数对计算出来的。Series的corr方法用于计算两个Series中重叠的、非NA的、按索引对齐的值的相关系数。DataFrame的corr和cov方法将以DataFrame的形式分别返回完整的相关系数或协方差矩阵。
.corrwith() :利用DataFrame的corrwith方法,可以计算其列或行跟另一个Series或DataFrame之间的相关系数。传入一个Series将会返回一个相关系数值Series(针对各列进行计算),传入一个DataFrame则会计算按列名配对的相关系数。
.min()/.max() :计算数据的最小值、最大值
.diff() :计算一阶差分,对时间序列很有效
.mode() :计算众数,返回频数最高的那(几)个
.mean() :计算均值
.quantile() :计算分位数(0到1)
.isin() :用于判断矢量化集合的成员资格,可用于过滤Series中或DataFrame列中数据的子集
适用于Series的基本统计分析函数,DataFrame[列名]返回的是一个Series类型。
.unique() :返回一个Series中的唯一值组成的数组。
.value_counts() :计算一个Series中各值出现的频率。
.argmin()/.argmax() :计算数据最大值、最小值所在位置的索引位置(自动索引)
.idxmin()/.idxmax() :计算数据最大值、最小值所在位置的索引(自定义索引)
pandas提供了一些用于将表格型数据读取为DataFrame对象的函数。下表对它们进行了总结,其中read_csv()、read_table()、to_csv()是用得最多的。
在数据分析和建模的过程中,相当多的时间要用在数据准备上:加载、清理、转换以及重塑。
在许多数据分析工作中,缺失数据是经常发生的。对于数值数据,pandas使用浮点值NaN(np.nan)表示缺失数据,也可将缺失值表示为NA(Python内置的None值)。
替换值
.replace(old, new) :用新的数据替换老的数据,如果希望一次性替换多个值,old和new可以是列表。默认会返回一个新的对象,传入inplace=True可以对现有对象进行就地修改。
删除重复数据
利用函数或字典进行数据转换
df.head():查询数据的前五行
df.tail():查询数据的末尾5行
pandas.cut()
pandas.qcut() 基于分位数的离散化函数。基于秩或基于样本分位数将变量离散化为等大小桶。
pandas.date_range() 返回一个时间索引
df.apply() 沿相应轴应用函数
Series.value_counts() 返回不同数据的计数值
df.aggregate()
df.reset_index() 重新设置index,参数drop = True时会丢弃原来的索引,设置新的从0开始的索引。常与groupby()一起用
numpy.zeros()
结语:以上就是首席CTO笔记为大家介绍的关于python中pd的一行多少值的全部内容了,希望对大家有所帮助,如果你还想了解更多这方面的信息,记得收藏关注本站。