求助我是不是已经被tech lead和sdm坑了

楼主 某leisure厂基层码农 入职2年左右
公司从2022年 开始做大规模platform migration  本组own的是T1 service 涉及到 pci data
fail case data recovery 新的stack里面的数据 如果出事需要搬回旧的stack里面重新处理 经理和lead assign 这个任务时候 只说了this is to create back up in case things go wrong 然后就是下周我们traffic cutover时候需要 just generate as Insert SQL statements, get this done before next week.
一开始听起来这个任务好像很easy ， lead和我描述时候 就轻描淡写说了 ，
我没怎么多想 心想那就需要一个script load csv file 然后generate inserts 就完了 （事后发现远没有这么简单）
我写好第一个version以后 就拿去在lab里面跑了 跑完了结果看了下所有csv的数据都load到db里面了 ， schedule了followup 和lead go over
lead 提出来不应该是每个table逐个insert 而是改成 insert each row for all the table before moving to next row,  于是回去又改这个script 变成逐行插入
结果sdm 和 lead 又提出了在old stack production env traffic is still live，application is also inserting new rows into the DB,  won't there be any conflict on primary key if you execute all these inserts statements on these tables ?  我当时听了很懵 心想我真的没有想到这个case  觉得很揪心 后来跑去问lead该怎么做  我是实在想不出来什么办法了 lead只是轻描淡写说了句 let me think about it...  我真心感觉我和TL合作过程中被问问题远超过给的建议数量。。。
今天一大早 我就跑去和专门负责data migration的组meeting 请教他们的经验 被告知如果是mutual exclusive data可以做bidirectinal inserts 如果不是没有解决方案 并特别着重提到：
bi-directional inserts is not recommended and no guarantee on data integrity, the last team who attempted to do this suffer from millions of records of loss .....
there are no conflict data resolution for this

请问我当前是不是已经无形掉进了一个坑里了  现在真的有些害怕了要是migrate过程出事 需要做backup 我心里很没底 我是不是要应该准备跑路了？

ps：目前做好准备 如果要做back up我就请病假。。。

我personally觉得似乎不是一个坑，就是migration 常见的问题之一，这就要跑路了吗…

Team带头大哥弱了点你也弱了点，看不出来他想坑你，而且还没到分锅的时候呢，有问题就解决别想太多

匿名用户 发表于 2023-2-27 17:12
身为tech lead，竟然连数据迁移中的这种典型问题都没事先考虑，这种人怎么能做上tech lead的

我不是tech lead 我毕业刚入职2年 之前没有做过migration 在技术层面的欠缺我承认  愿听高见

身为tech lead，竟然连数据迁移中的这种典型问题都没事先考虑，这种人怎么能做上tech lead的

问问pm on conflict honor哪边不就行了？

你这个听上去需要setup replication 搞一个replica 所有新的change都可以replicate 到replica上去。最后保证replication lag是0就可以cutover 不会丢数据

你看你用的是啥数据库 postgres可以pglogical 或者 pg_basebackup，oracle可以goldern gate或者data guard。