Apple AI/ML Full Stack Engineer 面经：如何把 200TB 媒体数据传到处理主机

题目背景
面试官抛出一个偏系统设计 / 数据工程的开放题：

现在有 200TB 的媒体数据（图片/视频），需要把它传输到用于处理（预处理、推理、训练）的计算主机 / 计算集群上，你会怎么设计？

这道题没有标准答案，考察的是：能不能先把需求边界问清楚，能不能做带宽/成本的定量估算，以及能不能识别出"不要直连单机、要用中间存储解耦"这个关键点。下面按我在面试里实际展开的顺序来写。

第一步：先澄清，不要急着答
我没有直接开始画架构，而是先问了几个决定方案走向的问题：

• 一次性还是周期性？ 一次性冷迁移和每天都要灌数据，方案完全不同。
• 数据源在哪？ 是在本地机房 / 另一个数据中心 / 已经在云上对象存储里？源和目的地之间是同一 region 还是跨域跨洋？
• 两端之间有什么网络？ 是公网、专线（Direct Connect / Interconnect 这类），还是根本没有网络、只能物理搬运？可用带宽是 1Gbps、10Gbps 还是 100Gbps？
• 时效要求？ 允许几天，还是几个小时内必须就绪？
• "处理主机"是一台机器还是一个计算集群？ 数据是要落到单机本地盘，还是要供整个 GPU 集群反复读取？
• 数据形态？ 是 200TB 里一堆小文件（几百万张图），还是少量大文件（长视频）？小文件多会带来元数据/IO 开销问题。

面试官反馈： 问澄清问题这一步本身就是加分项。他确认这是一次性的大批量冷迁移，源在本地机房

您好！
本帖隐藏的内容需要积分高于 188 才可浏览
您当前积分为 0。
使用VIP即刻解锁阅读权限或查看其他获取积分的方式

游客，您好！
本帖隐藏的内容需要积分高于 188 才可浏览
您当前积分为 0。
VIP即刻解锁阅读权限 或 查看其他获取积分的方式
Unlock interview details and practice with AI
Curated Interview Questions from Top Companies

数据加载与解码，overlap 数据准备和 GPU 计算（prefetch / pipeline），保证 GPU 每一步都有数据可吃。用 shuffle buffer 而不是全局 shuffle 来兼顾随机性和吞吐。

定位瓶颈：明确瓶颈到底在网络带宽、CPU 解码，还是 GPU 计算，对症下药——这决定了你是该加带宽、加 CPU worker，还是换更省的预处理格式。

复盘与心得

• 这道题的胜负手不在"知道 Snowball"，而在带宽计算——能当场把 200TB / 链路速率算出来、给出"该走网络还是该寄硬盘"的定量判断，立刻区分出层次。
• "不要直连单机、用对象存储解耦" 是主线要点，几乎一定会被考。
• 澄清"一次性 vs 周期性"很重要，它决定了要不要引入队列和持续管线。
• AI/ML 岗一定会往训练数据管线 / GPU 不能饿着方向追问，提前把"分片格式 + 流式读取 + 输入管线 overlap"这条线准备好。
• 全程记得提数据完整性（checksum）和安全（传输/静态加密、网络边界），这些是资深候选人和普通候选人的分水岭。

求加米 ： ）