七牛上传文件hash算法

外星人群控

我上传文件返回hash，但是不知道怎么在上传前计算出来hash，因为我要验证文件的完整性，下面是官方公布的计算方法，谁能帮忙写成易语言的

1. qetag 是一个计算文件在七牛云存储上的 hash 值（也是文件下载时的 etag 值）的实用程序。
   
2. 
   
3. 七牛的 hash/etag 算法是公开的。算法大体如下：
   
4. 
   
5.     如果你能够确认文件 <= 4M，那么 hash = UrlsafeBase64([0x16, sha1(FileContent)])。也就是，文件的内容的sha1值（20个字节），前面加一个byte（值为0x16），构成 21 字节的二进制数据，然后对这 21 字节的数据做 urlsafe 的 base64 编码。
   
6.     如果文件 > 4M，则 hash = UrlsafeBase64([0x96, sha1([sha1(Block1), sha1(Block2), ...])])，其中 Block 是把文件内容切分为 4M 为单位的一个个块，也就是 BlockI = FileContent[I*4M:(I+1)*4M]。
   
7. 
   
8. 为何需要公开 hash/etag 算法？这个和 “消重” 问题有关，详细见：
   
9. 
   
10.     http://kb.qiniu.com/53tubk96
    
11.     http://segmentfault.com/q/1010000000315810
    
12. 
    
13. 为何在 sha1 值前面加一个byte的标记位(0x16或0x96）？
    
14. 
    
15.     0x16 = 22，而 2^22 = 4M。所以前面的 0x16 其实是文件按 4M 分块的意思。
    
16.     0x96 = 0x80 | 0x16。其中的 0x80 表示这个文件是大文件（有多个分块），hash 值也经过了2重的 sha1 计算。
    

复制代码

补充内容 (2015-10-24 19:41):
我上传的文件都是小于4M的

易语言12345

qetag 是一个计算文件在七牛云存储上的 hash 值（也是文件下载时的 etag 值）的实用程序。

七牛的 hash/etag 算法是公开的。算法大体如下：

    如果你能够确认文件 <= 4M，那么 hash = UrlsafeBase64([0x16, sha1(FileContent)])。也就是，文件的内容的sha1值（20个字节），前面加一个byte（值为0x16），构成 21 字节的二进制数据，然后对这 21 字节的数据做 urlsafe 的 base64 编码。
    如果文件 > 4M，则 hash = UrlsafeBase64([0x96, sha1([sha1(Block1), sha1(Block2), ...])])，其中 Block 是把文件内容切分为 4M 为单位的一个个块，也就是 BlockI = FileContent[I*4M:(I+1)*4M]。

为何需要公开 hash/etag 算法？这个和 “消重” 问题有关，详细见：

    http://kb.qiniu.com/53tubk96
    http://segmentfault.com/q/1010000000315810

为何在 sha1 值前面加一个byte的标记位(0x16或0x96）？

    0x16 = 22，而 2^22 = 4M。所以前面的 0x16 其实是文件按 4M 分块的意思。
    0x96 = 0x80 | 0x16。其中的 0x80 表示这个文件是大文件（有多个分块），hash 值也经过了2重的 sha1 计算。

外星人群控

易语言12345 发表于 2015-10-24 19:55
qetag 是一个计算文件在七牛云存储上的 hash 值（也是文件下载时的 etag 值）的实用程序。

七牛的 hash/ ...

感谢顶帖

外星人群控

就是把这句话翻译成易语言            
hash = UrlsafeBase64([0x16, sha1(FileContent)])

已注销233413

我有例子。。但不方便发出来，是扫e源码自动上传。。。。
适合干坏事！！！！！！！！！

外星人群控

时光老人 发表于 2015-10-24 20:16
我有例子。。但不方便发出来，是扫e源码自动上传。。。。
适合干坏事！！！！！！！！ ...

时光，别小气了，贡献出来吧

已注销233413

你肯定要干坏事。

外星人群控

时光老人 发表于 2015-10-24 20:26
你肯定要干坏事。

小点声，别让别人知道了

1312125730

一点都看不懂。。。

birdmanxp

  

hash ＝ BASE64编码 (到字节集 (22) ＋ sha1 (文件字节集))
hash ＝ 子文本替换 (hash, “+”, “-”, , , 真)
hash ＝ 子文本替换 (hash, “/”, “_”, , , 真)
hash ＝ 子文本替换 (hash, “=”, “ ”, , , 真)

.版本 2<br /> <br /> hash ＝ BASE64编码 (到字节集 (22) ＋ sha1(文件字节集))<br /> hash ＝ 子文本替换 (hash, “+”, “-”, , , 真)<br /> hash ＝ 子文本替换 (hash, “/”, “_”, , , 真)<br /> hash ＝ 子文本替换 (hash, “=”, “ ”, , , 真)

补充内容 (2015-10-24 20:41):
更正：最后一步替换是替换为空字符，不是空格