📣 黑五价提前开抢|VIP一年通行证5折,蓝莓、Offer多多同步特惠
查看: 2429| 回复: 2
跳转到指定楼层
上一主题 下一主题
收起左侧

[学Python/Perl] 关于Python pandas包下pivot_table的一个小问题

全局:

注册一亩三分地论坛,查看更多干货!

您需要 登录 才可以下载或查看附件。没有帐号?注册账号

x
最近在Mode上复习python的一些简单的数据分析包:https://community.modeanalytics. ... n-lambda-functions/
(我后面讲的这些过程在MODE上都可以自己敲一敲验证一下,是可以提供table和运行环境的,很方便验算)

拉到最后讲到pivot_table,提到四个基本变量:index(row), columns, values, aggfunc
然后举了一个例子,希望求不同delay原因在每一天所导致的延误时长总和:
delays_list = ['carrier_delay','weather_delay','late_aircraft_delay','nas_delay','security_delay']flight_delays_by_day = data.pivot_table(index='flight_date', values=delays_list, aggfunc='sum')flight_delays_by_day

运行结果如下:


和想的一样,没什么问题,但是我不明白的问题是代码中很明显不是按照常用的四个变量来写的,因为好奇,我强行按照标准格式写了一下,代码及其运行结果如下:
PS: arr_delay是单趟飞机延迟时间



尽管早就知道这样写不对,但是还是不清楚为什么会有扎样的结果,结果是有1w多列,省略显示的。


所以求明白人帮忙解释一下,
1.为什么这道题按照标准变量来写会出来这个结果,这个结果是怎么来的
2.这道题的正确写法,即
index='flight_date', values=delays_list, aggfunc='sum',的逻辑是什么?



谢谢大家!


上一篇:求问LeetCode的popularity为什么不同分类下差别很大
下一篇:推荐一个chrome插件,刷题不伤眼
推荐
gjw931110 2018-10-9 23:16:16 | 只看该作者
全局:
问题是出在dataset是长什么样子的。
一般潜意识会认为,这个dataset有一个column叫delay type,这个column里面的值就是你的delays_list。这种情况下应该这样写:
data.pivot_table(index='flight_date', values= 'arr_delay', columns = 'delay type', aggfunc='sum')
不知道你里面没,它会把 ‘delay type’里面的值拿出来做pivot _table的column。

但是这道题的dataset不长这个样子,我去你的链接看了一下。
CarrierDelay     Carrier Delay, in Minutes
WeatherDelay     Weather Delay, in Minutes
NASDelay         National Air System Delay, in Minutes
SecurityDelay   Security Delay, in Minutes
LateAircraftDelay   Late Aircraft Delay, in Minutes
这几个已经是dataset的column了。
pivot table里面的value的含义是,values to aggregate。这里你就要把这5个column里面的value去aggregate。所以你的delay_list 把这5个column的name 赋给了value。其实,你这里呢,不像是一个pivot table,更像是一个简单的groupby function。
同样的我可以这样写。data.groupby(by = 'FlightDate').sum().loc[:, delay_list]

好我们现在来看第二种写法对于这个dataset出现了什么问题。
data.pivot_table(index='flight_date', columns = delay_list, values=arr_delay, aggfunc='sum')
index没有问题,values没有问题,columns就有问题了。columns本来的意思是要把这些columns的值拿出来作为新的pivot table的column。如果没有重复,你相当于拿出来了(5*row#)的值作为你新的pivot_table的新的column。所以你就会有10000多列了。

所以这种正常写法针对我提及的第一种模样的dataset是适用的,但是本题的含义其实不是在pivot_table,我觉得就是个简单的group_by。

补充内容 (2018-10-9 23:19):
相当于有如下的dataset
flight date  delay type arr delay
a b c
c d e
f g h
你pivot table以后会变成
   b d g
a
c
f

补充内容 (2018-10-9 23:22):
但是你本身的dataset是长这个样子的
flight date b d g arr delay
a  1 2 3 4
b  2 3 5 6
c  7 8 9 10
你如果用你所谓的正常方法写出来的是这样
   1 2 3 4 5 6 7 8 9 10
a
b
c
回复

使用道具 举报

🔗
wowmomsos 2018-10-9 12:34:30 | 只看该作者
全局:
你可以分享下那个数据文件。
这样大家也好帮你。
不要忘记了,最好是云盘链接。
都是穷孩子。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 注册账号
隐私提醒:
  • ☑ 禁止发布广告,拉群,贴个人联系方式:找人请去🔗同学同事飞友,拉群请去🔗拉群结伴,广告请去🔗跳蚤市场,和 🔗租房广告|找室友
  • ☑ 论坛内容在发帖 30 分钟内可以编辑,过后则不能删帖。为防止被骚扰甚至人肉,不要公开留微信等联系方式,如有需求请以论坛私信方式发送。
  • ☑ 干货版块可免费使用 🔗超级匿名:面经(美国面经、中国面经、数科面经、PM面经),抖包袱(美国、中国)和录取汇报、定位选校版
  • ☑ 查阅全站 🔗各种匿名方法

本版积分规则

>
快速回复 返回顶部 返回列表