有没有真正判断文本是否为utf8文本的方式呢？

police0909

用这两个命令，都出现了判断错误的


.版本 2
.支持库 spec

.子程序 _临时子程序

调试输出 (是否为UTF8 (编码_Ansi到Unicode (“我”, )))
调试输出 (文本_是否UTF8_汇编 (编码_Ansi到Unicode (“我”, )))

调试输出 (是否为UTF8 (编码_Ansi到Unicode (“路边”, )))
调试输出 (文本_是否UTF8_汇编 (编码_Ansi到Unicode (“路边”, )))

调试输出 (是否为UTF8 (编码_Ansi到Unicode (“）”, )))
调试输出 (文本_是否UTF8_汇编 (编码_Ansi到Unicode (“）”, )))


.子程序 文本_是否UTF8_汇编, 逻辑型, , utf8编码返回真, 其他编码返回假, 支持多线程; 感谢【@jr21066 】
.参数 参_内容, 字节集

.如果真 (参_内容 ＝ {  })
    返回 (假)
.如果真结束
置入代码 ({ 86, 87, 83, 139, 69, 8, 139, 24, 139, 75, 4, 139, 48, 131, 198, 8, 139, 67, 8, 37, 255, 255, 255, 0, 61, 191, 187, 239, 0, 116, 101, 172, 138, 224, 60, 127, 118, 88, 192, 232, 6, 60, 6, 117, 19, 172, 80, 192, 232, 6, 60, 2, 117, 74, 88, 192, 232, 7, 60, 0, 116, 70, 235, 62, 138, 196, 192, 232, 4, 60, 14, 117, 18, 172, 192, 232, 6, 60, 2, 117, 47, 172, 192, 232, 6, 60, 2, 117, 39, 235, 41, 138, 196, 192, 232, 3, 60, 30, 117, 28, 172, 192, 232, 6, 60, 2, 117, 20, 172, 192, 232, 6, 60, 2, 117, 12, 172, 192, 232, 6, 60, 2, 117, 4, 235, 6, 226, 159, 51, 192, 235, 3, 51, 192, 64, 91, 95, 94, 201, 194, 4, 0 })
返回 (假)

.子程序 是否为UTF8, 逻辑型, 公开, 如果为UTF8编码返回真，不是UTF8或空文本都返回假
.参数 参_文件内容, 字节集
.局部变量 文件长度, 整数型
.局部变量 取出位置, 整数型
.局部变量 循环取出内容, 字节集
.局部变量 循环取出数值, 整数型
.局部变量 返回值, 整数型
.局部变量 次数, 整数型


文件长度 ＝ 取字节集长度 (参_文件内容)
次数 ＝ 0
.判断开始 (文件长度 ≤ 0)
    返回 (假)
.默认

.判断结束
取出位置 ＝ 1
.判断循环首 (取出位置 ≤ 文件长度)
    循环取出内容 ＝ 取字节集中间 (参_文件内容, 取出位置, 1)
    循环取出数值 ＝ 取字节集数据 (循环取出内容, 3, )
    .判断开始 (循环取出数值 ＞ 127)
        返回值 ＝ 0
    .默认

    .判断结束
    .判断开始 (次数 ＝ 0)

        .判断开始 (循环取出数值 ＜ 128)

        .默认

            .循环判断首 ()
                循环取出数值 ＝ 汇编左移 (循环取出数值, 1)


                次数 ＝ 次数 ＋ 1
            .循环判断尾 (循环取出数值 ＞ 127)
            次数 ＝ 次数 － 1
            .判断开始 (次数 ＝ 0)
                返回 (假)
            .默认

            .判断结束


        .判断结束

    .默认

        循环取出数值 ＝ 位与 (循环取出数值, 192)  ' UTF8 3字节,后两位位与结果均是128
        .判断开始 (循环取出数值 ＝ 128)
            次数 ＝ 次数 － 1
        .默认

            返回 (假)

        .判断结束

    .判断结束

    取出位置 ＝ 取出位置 ＋ 1

.判断循环尾 ()
.判断开始 (次数 ≠ 0)
    返回 (假)
.判断 (返回值 ＝ 0)
    返回 (真)
.默认

    返回 (假)
.判断结束


.子程序 汇编左移, 整数型, , 失败返回 -1
.参数 欲移动的整数, 整数型
.参数 欲移动的位数, 整数型



置入代码 ({ 81, 139, 69, 8, 139, 77, 12, 210, 224, 89, 139, 229, 93, 194, 8, 0 })

返回 (-1)

7ian

7ian 发表于 2024-7-9 21:00
判断一个字节序列是否为UTF-8格式，需要理解UTF-8编码的规则。UTF-8是一种可变长度的编码方式，它使用1到4 ...

完美：

  

子程序名	返回值类型	公开	备 注
字节集_是否为UFT8	逻辑型		by.7ian.541980200
参数名	类 型	参考	可空	数组	备 注
数据	字节集
长度	整数型

置入代码 ({ 199, 69, 248, 0, 0, 0, 0, 199, 69, 236, 0, 0, 0, 0, 235, 9, 139, 69, 236, 131, 192, 1, 137, 69, 236, 139, 69, 236, 59, 69, 12, 15, 131, 223, 0, 0, 0, 139, 69, 8, 139, 0, 131, 192, 8, 3, 69, 236, 138, 8, 136, 77, 227, 131, 125, 248, 0, 15, 133, 152, 0, 0, 0, 15, 182, 69, 227, 131, 248, 127, 127, 9, 15, 182, 69, 227, 131, 248, 32, 125, 27, 15, 182, 69, 227, 131, 248, 13, 116, 18, 15, 182, 69, 227, 131, 248, 10, 116, 9, 15, 182, 69, 227, 131, 248, 9, 117, 2, 235, 162, 15, 182, 69, 227, 61, 194, 0, 0, 0, 124, 20, 15, 182, 69, 227, 61, 223, 0, 0, 0, 127, 9, 199, 69, 248, 1, 0, 0, 0, 235, 131, 15, 182, 69, 227, 61, 224, 0, 0, 0, 124, 23, 15, 182, 69, 227, 61, 239, 0, 0, 0, 127, 12, 199, 69, 248, 2, 0, 0, 0, 233, 97, 255, 255, 255, 15, 182, 69, 227, 61, 240, 0, 0, 0, 124, 23, 15, 182, 69, 227, 61, 244, 0, 0, 0, 127, 12, 199, 69, 248, 3, 0, 0, 0, 233, 63, 255, 255, 255, 48, 192, 235, 81, 235, 40, 15, 182, 69, 227, 61, 128, 0, 0, 0, 124, 25, 15, 182, 69, 227, 61, 191, 0, 0, 0, 127, 14, 139, 69, 248, 131, 232, 1, 137, 69, 248, 233, 21, 255, 255, 255, 48, 192, 235, 39, 233, 12, 255, 255, 255, 131, 125, 248, 0, 117, 12, 199, 133, 19, 255, 255, 255, 1, 0, 0, 0, 235, 10, 199, 133, 19, 255, 255, 255, 0, 0, 0, 0, 138, 133, 19, 255, 255, 255, 201, 194, 8, 0 })
返回 (假)

.版本 2<br /> <br /> .子程序 字节集_是否为UFT8, 逻辑型, 公开, by.7ian.541980200<br /> .参数 数据, 字节集<br /> .参数 长度, 整数型<br /> <br /> 置入代码 ({ 199, 69, 248, 0, 0, 0, 0, 199, 69, 236, 0, 0, 0, 0, 235, 9, 139, 69, 236, 131, 192, 1, 137, 69, 236, 139, 69, 236, 59, 69, 12, 15, 131, 223, 0, 0, 0, 139, 69, 8, 139, 0, 131, 192, 8, 3, 69, 236, 138, 8, 136, 77, 227, 131, 125, 248, 0, 15, 133, 152, 0, 0, 0, 15, 182, 69, 227, 131, 248, 127, 127, 9, 15, 182, 69, 227, 131, 248, 32, 125, 27, 15, 182, 69, 227, 131, 248, 13, 116, 18, 15, 182, 69, 227, 131, 248, 10, 116, 9, 15, 182, 69, 227, 131, 248, 9, 117, 2, 235, 162, 15, 182, 69, 227, 61, 194, 0, 0, 0, 124, 20, 15, 182, 69, 227, 61, 223, 0, 0, 0, 127, 9, 199, 69, 248, 1, 0, 0, 0, 235, 131, 15, 182, 69, 227, 61, 224, 0, 0, 0, 124, 23, 15, 182, 69, 227, 61, 239, 0, 0, 0, 127, 12, 199, 69, 248, 2, 0, 0, 0, 233, 97, 255, 255, 255, 15, 182, 69, 227, 61, 240, 0, 0, 0, 124, 23, 15, 182, 69, 227, 61, 244, 0, 0, 0, 127, 12, 199, 69, 248, 3, 0, 0, 0, 233, 63, 255, 255, 255, 48, 192, 235, 81, 235, 40, 15, 182, 69, 227, 61, 128, 0, 0, 0, 124, 25, 15, 182, 69, 227, 61, 191, 0, 0, 0, 127, 14, 139, 69, 248, 131, 232, 1, 137, 69, 248, 233, 21, 255, 255, 255, 48, 192, 235, 39, 233, 12, 255, 255, 255, 131, 125, 248, 0, 117, 12, 199, 133, 19, 255, 255, 255, 1, 0, 0, 0, 235, 10, 199, 133, 19, 255, 255, 255, 0, 0, 0, 0, 138, 133, 19, 255, 255, 255, 201, 194, 8, 0 })<br /> 返回 (假)

憨憨问号

试下这个，我看我这个和你的汇编代码不一样

  

子程序名	返回值类型	公开	备 注
文本_是否UTF8_汇编	逻辑型		@jr21066
参数名	类 型	参考	可空	数组	备 注
参_内容	字节集

变量名	类 型	静态	数组	备 注
局_返回值	逻辑型

置入代码 ({ 96, 139, 69, 8, 139, 24, 139, 75, 4, 139, 48, 131, 198, 8, 139, 67, 8, 37, 255, 255, 255, 0, 61, 191, 187, 239, 0, 116, 101, 172, 136, 196, 60, 127, 118, 88, 192, 232, 6, 60, 6, 117, 19, 172, 80, 192, 232, 6, 60, 2, 117, 74, 88, 192, 232, 7, 60, 0, 116, 70, 235, 62, 136, 224, 192, 232, 4, 60, 14, 117, 18, 172, 192, 232, 6, 60, 2, 117, 47, 172, 192, 232, 6, 60, 2, 117, 39, 235, 41, 136, 224, 192, 232, 3, 60, 30, 117, 28, 172, 192, 232, 6, 60, 2, 117, 20, 172, 192, 232, 6, 60, 2, 117, 12, 172, 192, 232, 6, 60, 2, 117, 4, 235, 6, 226, 159, 49, 192, 235, 3, 49, 192, 64, 137, 69, 252, 97 })
返回 (局_返回值)

.版本 2<br /> <br /> .子程序 文本_是否UTF8_汇编, 逻辑型, , @jr21066<br /> .参数 参_内容, 字节集<br /> .局部变量 局_返回值, 逻辑型<br /> <br /> 置入代码 ({ 96, 139, 69, 8, 139, 24, 139, 75, 4, 139, 48, 131, 198, 8, 139, 67, 8, 37, 255, 255, 255, 0, 61, 191, 187, 239, 0, 116, 101, 172, 136, 196, 60, 127, 118, 88, 192, 232, 6, 60, 6, 117, 19, 172, 80, 192, 232, 6, 60, 2, 117, 74, 88, 192, 232, 7, 60, 0, 116, 70, 235, 62, 136, 224, 192, 232, 4, 60, 14, 117, 18, 172, 192, 232, 6, 60, 2, 117, 47, 172, 192, 232, 6, 60, 2, 117, 39, 235, 41, 136, 224, 192, 232, 3, 60, 30, 117, 28, 172, 192, 232, 6, 60, 2, 117, 20, 172, 192, 232, 6, 60, 2, 117, 12, 172, 192, 232, 6, 60, 2, 117, 4, 235, 6, 226, 159, 49, 192, 235, 3, 49, 192, 64, 137, 69, 252, 97 })<br /> 返回 (局_返回值)

憨憨问号

如果还是不行试一下我写的这个

  

子程序名	返回值类型	公开	备 注
问号_判断是否utf8	逻辑型		bilibili憨憨问号
参数名	类 型	参考	可空	数组	备 注
目标文本	文本型

变量名	类 型	静态	数组	备 注
临时	文本型

临时 ＝ 编码_UTF8到Ansi (到字节集 (目标文本))
如果 (临时 ＝ “”)
返回 (假)
如果真 (寻找文本 (临时, “?”, , 假) ＝ -1)
返回 (真)

返回 (假)

子程序名	返回值类型	公开	备 注
编码_UTF8到Ansi	文本型		UTF-8 to ANSI
参数名	类 型	参考	可空	数组	备 注
UTF_8Date	字节集

变量名	类 型	静态	数组	备 注
len	整数型
UnicodeBin	字节集
ll
ansi_len	整数型
unicode_len
ansi	文本型

ll ＝ 取字节集长度 (UTF_8Date)
len ＝ MultiByteToWideChar (65001, 0, UTF_8Date, ll, {  }, 0)
UnicodeBin ＝ 取空白字节集 (len × 2)
MultiByteToWideChar (65001, 0, UTF_8Date, ll, UnicodeBin, len × 2)
unicode_len ＝ 取字节集长度 (UnicodeBin) ÷ 2
ansi_len ＝ WideCharToMultiByte (936, 0, UnicodeBin, unicode_len, ansi, 0, “”, 0)
ansi ＝ 取空白文本 (ansi_len)
WideCharToMultiByte (936, 0, UnicodeBin, unicode_len, ansi, ansi_len, “”, 0)
返回 (ansi)

.版本 2<br /> <br /> .子程序 问号_判断是否utf8, 逻辑型, , bilibili憨憨问号<br /> .参数 目标文本, 文本型<br /> .局部变量 临时, 文本型<br /> <br /> 临时 ＝ 编码_UTF8到Ansi (到字节集 (目标文本))<br /> .如果 (临时 ＝ “”)<br />     返回 (假)<br /> .否则<br />     .如果真 (寻找文本 (临时, “?”, , 假) ＝ -1)<br />         返回 (真)<br />     .如果真结束<br /> <br /> .如果结束<br /> 返回 (假)<br /> <br /> <br /> .子程序 编码_UTF8到Ansi, 文本型, , UTF-8 to ANSI<br /> .参数 UTF_8Date, 字节集<br /> .局部变量 len, 整数型<br /> .局部变量 UnicodeBin, 字节集<br /> .局部变量 ll<br /> .局部变量 ansi_len, 整数型<br /> .局部变量 unicode_len<br /> .局部变量 ansi, 文本型<br /> <br /> ll ＝ 取字节集长度 (UTF_8Date)<br /> len ＝ MultiByteToWideChar (65001, 0, UTF_8Date, ll, {  }, 0)<br /> UnicodeBin ＝ 取空白字节集 (len × 2)<br /> MultiByteToWideChar (65001, 0, UTF_8Date, ll, UnicodeBin, len × 2)<br /> unicode_len ＝ 取字节集长度 (UnicodeBin) ÷ 2<br /> ansi_len ＝ WideCharToMultiByte (936, 0, UnicodeBin, unicode_len, ansi, 0, “”, 0)<br /> ansi ＝ 取空白文本 (ansi_len)<br /> WideCharToMultiByte (936, 0, UnicodeBin, unicode_len, ansi, ansi_len, “”, 0)<br /> 返回 (ansi)

补充内容 (2024-7-9 18:56):
.版本 2

.DLL命令 WideCharToMultiByte, 整数型, "kernel32.dll", "WideCharToMultiByte"
    .参数 CodePage, 整数型
    .参数 dwFlags, 整数型
    .参数 lpWideCharStr, 字节集
    ....

憨憨问号

憨憨问号 发表于 2024-7-9 18:55
如果还是不行试一下我写的这个[e=2].版本 2

.子程序 问号_判断是否utf8, 逻辑型, , bilibili憨憨问号

dll忘记了
.版本 2

.DLL命令 WideCharToMultiByte, 整数型, "kernel32.dll", "WideCharToMultiByte"
    .参数 CodePage, 整数型
    .参数 dwFlags, 整数型
    .参数 lpWideCharStr, 字节集
    .参数 cchWideChar, 整数型
    .参数 lpMultiByteStr, 文本型
    .参数 cbMultiByte, 整数型
    .参数 lpDefaultChar, 文本型
    .参数 lpUsedDefaultChar, 整数型

.DLL命令 MultiByteToWideChar, 整数型, "Kernel32.dll", "MultiByteToWideChar"
    .参数 CodePage, 整数型
    .参数 dwFlags, 整数型
    .参数 lpMultiByteStr, 字节集
    .参数 cchMultiByte, 整数型
    .参数 lpWideCharStr, 字节集
    .参数 cchWideChar, 整数型

police0909

憨憨问号 发表于 2024-7-9 18:52
试下这个，我看我这个和你的汇编代码不一样

  

[/quote]
这个汇编都一样判断不了  路边  这个
utf8到ansi，如果是单字符，一样会错误。
[e=3]调试输出 (问号_判断是否utf8 (AnsiToUnicode_yc (“asd”, , )))

.版本 2</blockquote></div><br /> 这个汇编都一样判断不了  路边  这个<br /> <br /> utf8到ansi，如果是单字符，一样会错误。<br /> [e=3]调试输出 (问号_判断是否utf8 (AnsiToUnicode_yc (“asd”, , )))

police0909

憨憨问号 发表于 2024-7-9 18:55
如果还是不行试一下我写的这个[e=2].版本 2

.子程序 问号_判断是否utf8, 逻辑型, , bilibili憨憨问号

单字符的，判断失败。双字符用这个还行

憨憨问号

police0909 发表于 2024-7-9 19:05
单字符的，判断失败。双字符用这个还行

前面加个判断，如果是单字符在后面加1字符的空格 → “ ”，结果出来再给他删了

anyuezhiji

憨憨问号 发表于 2024-7-9 18:55
如果还是不行试一下我写的这个[e=2].版本 2

.子程序 问号_判断是否utf8, 逻辑型, , bilibili憨憨问号

这么写的话，如果待判断的utf编码字符本身有?号会被判断为假

anyuezhiji

  

子程序名	返回值类型	公开	备 注
是否UTF8编码	逻辑型		判断字符是不是UTF-8类型
参数名	类 型	参考	可空	数组	备 注
字符串	文本型

变量名	类 型	静态	数组	备 注
计次
字节数
字符
全是Ascii	逻辑型
长度
待判断	字节集

待判断 ＝ 到字节集 (字符串)
字节数 ＝ 0
全是Ascii ＝ 真
判断循环首 (计次 ＜ 长度)
计次 ＝ 计次 ＋ 1
字符 ＝ 待判断 [计次]
如果真 (字符 ≤ 57 且 字符 ≥ 48)  ' 0-9
到循环尾 ()
如果真 (字符 ≤ 122 且 字符 ≥ 97)  ' a-z
到循环尾 ()
如果真 (字符 ≤ 90 且 字符 ≥ 65)  ' A-Z
到循环尾 ()
如果真 (位与 (字符, 128) ≠ 0)
全是Ascii ＝ 假
如果 (字节数 ＝ 0)  ' //如果不是ASCII码,应该是多字节符,计算字节数
如果 (字符 ≥ 128)
判断 (字符 ≥ 252 且 字符 ≤ 253)
字节数 ＝ 6
判断 (字符 ≥ 248)
字节数 ＝ 5
判断 (字符 ≥ 240)
字节数 ＝ 4
判断 (字符 ≥ 224)
字节数 ＝ 3
判断 (字符 ≥ 192)
字节数 ＝ 2

返回 (假)
字节数 ＝ 字节数 － 1
如果真 (位与 (字符, 192) ≠ 128)
返回 (假)
字节数 ＝ 字节数 － 1

' //多字节符的非首字节,应为 10xxxxxx
如果真 (位与 (字符, 192) ≠ 128)
返回 (假)

字节数 ＝ 字节数 － 1

判断循环尾 ()
如果真 (字节数 ＞ 0)  ' //违返规则
返回 (假)
如果真 (全是Ascii)  ' //如果全部都是ASCII, 说明不是UTF-8
返回 (假)
返回 (真)

.版本 2<br /> <br /> <br /> <br /> <br /> .子程序 是否UTF8编码, 逻辑型, 公开, 判断字符是不是UTF-8类型<br /> .参数 字符串, 文本型<br /> .局部变量 计次<br /> .局部变量 字节数<br /> .局部变量 字符<br /> .局部变量 全是Ascii, 逻辑型<br /> .局部变量 长度<br /> .局部变量 待判断, 字节集<br /> <br /> 待判断 ＝ 到字节集 (字符串)<br /> 字节数 ＝ 0<br /> 全是Ascii ＝ 真<br /> .判断循环首 (计次 ＜ 长度)<br />     计次 ＝ 计次 ＋ 1<br />     字符 ＝ 待判断 [计次]<br />     .如果真 (字符 ≤ 57 且 字符 ≥ 48)  ' 0-9<br />         到循环尾 ()<br />     .如果真结束<br />     .如果真 (字符 ≤ 122 且 字符 ≥ 97)  ' a-z<br />         到循环尾 ()<br />     .如果真结束<br />     .如果真 (字符 ≤ 90 且 字符 ≥ 65)  ' A-Z<br />         到循环尾 ()<br />     .如果真结束<br />     .如果真 (位与 (字符, 128) ≠ 0)<br />         全是Ascii ＝ 假<br />     .如果真结束<br />     .如果 (字节数 ＝ 0)  ' //如果不是ASCII码,应该是多字节符,计算字节数<br />         .如果 (字符 ≥ 128)<br />             .判断开始 (字符 ≥ 252 且 字符 ≤ 253)<br />                 字节数 ＝ 6<br />             .判断 (字符 ≥ 248)<br />                 字节数 ＝ 5<br />             .判断 (字符 ≥ 240)<br />                 字节数 ＝ 4<br />             .判断 (字符 ≥ 224)<br />                 字节数 ＝ 3<br />             .判断 (字符 ≥ 192)<br />                 字节数 ＝ 2<br /> <br />             .默认<br />                 返回 (假)<br />             .判断结束<br />             字节数 ＝ 字节数 － 1<br />         .否则<br />             .如果真 (位与 (字符, 192) ≠ 128)<br /> <br />                 返回 (假)<br />             .如果真结束<br />             字节数 ＝ 字节数 － 1<br />         .如果结束<br /> <br />     .否则<br />         ' //多字节符的非首字节,应为 10xxxxxx<br />         .如果真 (位与 (字符, 192) ≠ 128)<br />             返回 (假)<br />         .如果真结束<br /> <br />         字节数 ＝ 字节数 － 1<br /> <br />     .如果结束<br /> <br /> .判断循环尾 ()<br /> .如果真 (字节数 ＞ 0)  ' //违返规则<br />     返回 (假)<br /> .如果真结束<br /> .如果真 (全是Ascii)  ' //如果全部都是ASCII, 说明不是UTF-8<br />     返回 (假)<br /> .如果真结束<br /> 返回 (真)

补充内容 (2024-7-9 19:47):
全是Ascii时，utf8和gbk等编码完全一样