摘要：后文所用的測(cè)試文件是一個(gè)阿里云導(dǎo)出的文件，，測(cè)試時(shí)文件已緩存顯示的接近用去用看一下方法耗時(shí)較大，因?yàn)闀?huì)對(duì)每一行都進(jìn)行處理，但是實(shí)際上只有第一行有，所以浪費(fèi)了。

工作中多多少少都會(huì)遇到UTF-8 BOM（后面直接叫BOM），有時(shí)第三方工具不支持就要自己去掉BOM，例如阿里云導(dǎo)出的SQL文件是有BOM的，但是Navicat不支持，這就要去掉BOM了。

后文所用的測(cè)試文件是一個(gè)阿里云導(dǎo)出的SQL文件，265M，測(cè)試時(shí)文件已緩存（time顯示的 File system inputs接近0）

sed -e "1s/^xefxbbxbf//" file

用time看一下sed方法耗時(shí)：

$ /usr/bin/time -v sed -e "1s/^xefxbbxbf//" sqlResult_1601835.sql > /dev/null
        ...
        User time (seconds): 0.33
        System time (seconds): 0.11
        Percent of CPU this job got: 98%
        Elapsed (wall clock) time (h:mm:ss or m:ss): 0:00.46
        ...

User time較大，因?yàn)閟ed會(huì)對(duì)每一行都進(jìn)行處理，但是實(shí)際上只有第一行有BOM，所以浪費(fèi)了CPU。

sed還支持原地更新（-i）：

$ /usr/bin/time -v sed -e "1s/^xefxbbxbf//" sqlResult_1601835.sql -i
        ...
        User time (seconds): 1.31
        System time (seconds): 3.89
        Percent of CPU this job got: 71%
        Elapsed (wall clock) time (h:mm:ss or m:ss): 0:07.32
        ...

因?yàn)闀?huì)寫入文件，所以會(huì)更慢，用strace可以發(fā)現(xiàn)，sed是通過輸出到臨時(shí)文件然后覆蓋原文件實(shí)現(xiàn)更新的

open("sqlResult_1601835.sql", O_RDONLY) = 3
open("./sedGlXm60", O_RDWR|O_CREAT|O_EXCL, 0600) = 4
...
rename("./sedGlXm60", "sqlResult_1601835.sql")

tail --bytes=+4 file

用tail可以直接跳過BOM，然后直接復(fù)制文件內(nèi)容，減少了不必要的CPU處理：

$ /usr/bin/time -v tail --bytes=+4 sqlResult_1601835.sql > /dev/null
        ...
        User time (seconds): 0.01
        System time (seconds): 0.12
        Percent of CPU this job got: 96%
        Elapsed (wall clock) time (h:mm:ss or m:ss): 0:00.14
        ...

但是tail必須自己重定向到新文件再覆蓋舊文件。

為了結(jié)合sed和tail的優(yōu)點(diǎn)，我寫了一個(gè)strip-bom，支持原地更新文件。

先測(cè)試一下重定向：

$ /usr/bin/time -v php strip-bom.phar sqlResult_1601835.sql > /dev/null
        ...
        User time (seconds): 0.11
        System time (seconds): 0.22
        Percent of CPU this job got: 98%
        Elapsed (wall clock) time (h:mm:ss or m:ss): 0:00.35
        ...

只比sed快了20%，User time少了但System time增加了。因?yàn)槭莻€(gè)循環(huán)讀寫的過程，每次循環(huán)就是一次read和write調(diào)用，所以我增加了一個(gè)參數(shù)來調(diào)節(jié)每次讀的塊大小，可以減少循環(huán)次數(shù)和系統(tǒng)調(diào)用，可以比sed快60%：

$ /usr/bin/time -v php strip-bom.phar -b 16384 sqlResult_1601835.sql > /dev/null
        ...
        User time (seconds): 0.06
        System time (seconds): 0.12
        Percent of CPU this job got: 96%
        Elapsed (wall clock) time (h:mm:ss or m:ss): 0:00.19

測(cè)試原地更新，比sed快30%：

$ /usr/bin/time -v php strip-bom.phar -i -b 16384 sqlResult_1601835.sql
        User time (seconds): 0.23
        System time (seconds): 0.67
        Percent of CPU this job got: 17%
        Elapsed (wall clock) time (h:mm:ss or m:ss): 0:05.11

Linux 4.5增加了一個(gè)系統(tǒng)調(diào)用：

ssize_t copy_file_range(int fd_in, loff_t *off_in,
                               int fd_out, loff_t *off_out,
                               size_t len, unsigned int flags);

可以直接在兩個(gè)文件描述符間復(fù)制內(nèi)容，而且通常只要一個(gè)系統(tǒng)調(diào)用，所以可以參考sed復(fù)制到臨時(shí)文件，然后覆蓋舊文件，實(shí)現(xiàn)代碼在：Gist

測(cè)試：

$ /usr/bin/time -v ./copy_file_range sqlResult_1601835.sql
        ...
        User time (seconds): 0.00
        System time (seconds): 2.47
        Percent of CPU this job got: 37%
        Elapsed (wall clock) time (h:mm:ss or m:ss): 0:06.52

減少了系統(tǒng)調(diào)用也只比sed快一點(diǎn)，復(fù)制到臨時(shí)文件還是比strip-bom原地更新慢。

一直以為dos2unix就是轉(zhuǎn)CRLF的，看Feng_Yu評(píng)論之后看了man page，原來dos2unix功能很多，其中有去BOM的選項(xiàng)（-r）：

$ /usr/bin/time -v dos2unix -r sqlResult_1601835.sql
dos2unix: 正在轉(zhuǎn)換文件 sqlResult_1601835.sql 為Unix格式...
        Command being timed: "dos2unix -r sqlResult_1601835.sql"
        User time (seconds): 10.01
        System time (seconds): 0.90
        Percent of CPU this job got: 60%
        Elapsed (wall clock) time (h:mm:ss or m:ss): 0:18.20

dos2unix實(shí)現(xiàn)類似sed，也是寫到臨時(shí)文件再覆蓋，也和sed一樣，會(huì)處理每一行，所以性能并不好。