📣 黑五价提前开抢|VIP一年通行证5折,蓝莓、Offer多多同步特惠
查看: 1164| 回复: 0
跳转到指定楼层
上一主题 下一主题
收起左侧

各大厂的数据工具真的有那么好用吗?来吐槽你最恨的那一个

全局:

注册一亩三分地论坛,查看更多干货!

您需要 登录 才可以下载或查看附件。没有帐号?注册账号

x
.--
最近和几个在不同大厂(FAANG、二线tech、金融公司)做 Data Scientist 和 Data Engineer 的朋友聊天,发现每家都在吹自己的data stack多先进,但用起来全是坑!. check 1point3acres for more.
举几个例子:
  • Jupyter notebook无法直接deploy:“我们 DS 的代码最后都得由 DE 重写成 Python scripts,不然根本没法deploy。”
  • PySpark很难用:“Spark 3.0 是快了点,但调试一个 DataFrame 操作还是得靠 printSchema() + 疯狂试错。”
  • Snowflake超级贵:“团队因为 Snowflake 账单爆炸,被迫搞了个预算监控系统,结果 Data Scientist 跑个查询还要先申请额度…”
  • 调试 Airflow DAG 比写业务逻辑还费时间:“我们 30% 的时间在修 Airflow 的依赖问题,10% 的时间在等任务重跑。”

想听听大家的真实体验:
  • 你们公司的主要database是什么?(Snowflake/BigQuery/Databricks/Redshift…)
  • 最想吐槽的一个工具是啥?(Spark/Airflow/Notebooks/…)
  • 有没有成功换成更好的替代品?比如用polars代替pandas或者dask代替PySpark?

上一篇:Anaconda change license recently
下一篇:关于Attention机制的理解
您需要登录后才可以回帖 登录 | 注册账号
隐私提醒:
  • ☑ 禁止发布广告,拉群,贴个人联系方式:找人请去🔗同学同事飞友,拉群请去🔗拉群结伴,广告请去🔗跳蚤市场,和 🔗租房广告|找室友
  • ☑ 论坛内容在发帖 30 分钟内可以编辑,过后则不能删帖。为防止被骚扰甚至人肉,不要公开留微信等联系方式,如有需求请以论坛私信方式发送。
  • ☑ 干货版块可免费使用 🔗超级匿名:面经(美国面经、中国面经、数科面经、PM面经),抖包袱(美国、中国)和录取汇报、定位选校版
  • ☑ 查阅全站 🔗各种匿名方法

本版积分规则

>
快速回复 返回顶部 返回列表