要不要开一个新的开源小项目（已有劣质实现）支持细分场景， 10TB+ 级 SQL Server 传

丿丶灵泽 · 发表于前天 09:39

回想起来已将近四年过去了，那时我刚出互联网，还没被外包抹去棱角，第一次知道到 Consulting Company ，一切都很新奇。

初入咨询（外包）行业，我被分配的第一个任务是把 SQL Server 上 10 TB 数据每天全量迁移一份到 AWS Redshift 数仓，很有挑战，很有意思。

我用一个多月时间写出了第一版，速度差了点，又花半个月优化出第二版，速度可以了，关键是 PIPE 。

那还是手搓代码的时候，我用 Python 将几个工具粘合成一条管道线，对于无法输出 stream 的，我加了 FIFO 。很有意思，不过没人懂一个 10 年 UNIX 爱好者的快乐。后来我把核心的部分独立出来一个很粗糙的小工具。

一晃竟四年了，现在是 Vibe Coding 的时代，以前我不会写前端，现在我写了很多很多前端。以前我不会写 C 、写 Rust 、写 .Net ，现在我有 AI 了。

过去了那么久，现在又有了同样的需求，要把 SQL Server 迁移上云，只是不再是 Redshift ，换成了 Snowflake ，好像一下子所有人都要迁 Snowflake 。可是我已经没有任何兴趣了，这是很无聊的事。可是我已经要离开这个项目了，这是很恶心的地方。

一切都与我无关，看戏的同时，我又在想，要不要弥补当初胶水男孩的遗憾，再来一次，可以从底层开始设计，我有 AI 。

tianci · 发表于前天 12:20

现在该上的应该都上过了吧

172134686 · 发表于前天 12:34

cloud cannal

923526472 · 发表于前天 12:46

开吧，虽然可能并不会有人看，也不会有人贡献代码，但是随着 ai 爬虫的抓取，也许多少年以后，有人让 ai 做一个基于 PIPE 的数据传输小工具，还会贡献出你自己的模型权重呢，这何尝不是一种赛博永生的浪漫