P-Pass 怎么知道"这张照片已经备份过了"
P-Pass 在哈希和去重上的决定都照着一条原则:宁可在电脑上多存一份,也不漏传一张。所以电脑上可能比你预想的多几张照片,比如一张图修改前后的两个版本都在。多出来的随时能删。漏传的照片平时没人发现,往往要等手机丢了才知道少了它,那时已经没有地方能找回来。
照片的身份是文件内容的哈希
判断电脑上有没有某张照片,P-Pass 不看文件名。换一台手机,相机编号会从头数,两张完全不同的照片可能都叫 IMG_1234.JPG,按名字判断的话,后一张会被当成已经有了,直接跳过。
P-Pass 对整个文件算 BLAKE3 哈希,拿这 32 字节当照片的身份。电脑上的索引拿它做主键,传输时也按它校验。选 BLAKE3 是因为传输层 iroh-blobs 本来就按 BLAKE3 寻址,查重和传输校验用的就是同一个值。
文件每次读 64 KiB,边读边算,4 GB 的视频和一张小图占的内存差不多。
拍摄时间和原文件名也会存下来,前者用来排时间线,后者方便人认出自己的文件。
在手机上裁剪或者调色以后,文件的字节变了,哈希也跟着变,P-Pass 会把它当成一张新照片传过去,另存一份。原来那版留在电脑上,不会被覆盖。
同一个画面在电脑上就有了两个文件。我们是故意这么做的。要是把”看起来差不多”也算作重复,哪次判断错了,被跳过的就是用户想留的那一版。
手机算一次,电脑校验一次
手机发现新照片后,逐张读出来算哈希,攒成一批发给电脑。电脑查一下索引,把自己没有的那几个回给手机,已经有的那些一个字节都不用传。
手机端和电脑端是两种语言写的两份代码,各用各的 BLAKE3 库。分块的地方只要差一点,同一张照片在两边就会算出不同的哈希,查重也就对不上了。电脑端的 Rust 代码生成了三条样例,最长的一条是 1 MiB 伪随机数据,另外两条是空输入和一个 5 字节的短串。手机端的测试逐条比对,每一位都要对上,1 MiB 那条会按真实读照片的方式分块喂进去。空输入那条另外跟 BLAKE3 官方公布的值对过一遍。
数据传到电脑以后,电脑自己再算一遍,和手机报的值对不上就整份丢掉,这张照片下次重传。入库查重用的也是电脑自己算出来的值。
如果电脑直接采信手机报的值,手机代码里的一个 bug,或者路上坏掉的几个字节,就可能让一份内容顶着另一张照片的身份进库。等手机下次问起那张照片,电脑会说已经有了,那张就漏掉了。
同一份内容同时到达两次
内容已经在库里、文件也还在磁盘上的话,电脑这次什么都不写。
两份相同的内容几乎同时到达时,两次查重看到的都是”还没有”,两边都会去写盘。索引里哈希是唯一键,后写记录的那一方会被拒绝,它就把自己刚写下的文件删掉,按重复处理。电脑上最后只留一份。
水位只在电脑确认之后前进
手机不会每次都重读整个相册。它记一个水位,只看水位之后新增或改过的照片,等电脑确认收下这一批,水位才往前挪。要是水位先挪了,断网时没传完的那几张,下次就扫不到了。现在中途断网或者 App 被关掉,下次还是从旧水位开始,同一批照片再问一遍,电脑回答已经有了。
老一些的系统版本上,相册没有每次改动都会递增的编号,水位只能按照片加进相册的时间来算,精确到秒。同一张照片可能被报上来好几次,电脑查重会挡掉,代价是手机多读几遍文件。