在 Linux 上快速建立 空白檔案 / 大檔案 的幾個方法

建立 swap 置換空間的或是跑一些效能測試時候經常會需要建立一個超大檔案(這邊談的都是空白檔案)

最常用的方法應該是 dd,例如從 /dev/zero 讀空白資料出來寫到我們的目的地檔案./dd_1G,一次寫入 1MB 的資料,總共寫入 1024 塊,就可以產生一個 1GB 的檔案:

在我的電腦上大概花了6秒鐘左右,如果檔案更大的話花的時間會更多

與其用 dd ,其實有更快的方法

0.001秒啊 … 不想花時間解釋太多,會用就好,大家可以想像成把檔案頭尾的起點終點設定完就結束了,檔案中間的內容跳過不管他,所以會很快

除了dd, 其實有別的方法 – fallocate / truncate

不過 fallocate 可能不適用於所有檔案系統,已知支援:btrfs, ext4, ocfs2 及 xfs

如果不考慮速度的還有一個工具 – xfs_mkfile
Debian / Ubuntu based GNU/Linux 可以透過 apt-get install xfsprogs 來安裝
雖然他是 xfs 的 utility 但也可以在其他檔案系統上面使用

最後比較一下產出的檔案有什麼差異?看起來是沒差~ 如果等一下是要做 mkswap 這類初始化的動作就更沒差了 …

這些差異在檔案更大的時候會更明顯

在 AWS 上的 Ubuntu安裝zram-config出錯

放在 Amazon Web Services (AWS) 上的機器因為用途跟價格的關係, ram 的規格開很小,靠 swap 來緩衝的話吃 IO 吃比較兇會被多收錢,想要用 zram 來壓記憶體

zram 的說明可以參考wikipedia
http://zh.wikipedia.org/wiki/Zram

zram是Linux核心的一個模組,之前被稱為「compcache」。zram透過在RAM內的壓縮塊裝置上分頁,直到必須使用硬碟上的交換空間,以避免在磁碟上進行分頁,從而提高效能。由於zram可以用記憶體替代硬碟為系統提供交換空間的功能,zram可以讓Linux在需要大量RAM的情況下在記憶體上進行交換/分頁,而提高記憶體的使用率,顯著得減少系統啟動時(此時Linux還不能使用外部儲存)對記憶體大小的要求。在實體記憶體較少的舊電腦上,尤其如此。

Lubuntu(13.10開始) 以及 Chrome OS 預設都有啟用這項功能
所以就來安裝 zram-config,沒想到竟然失敗 …
(不過用這方法來解這問題被學長唸就是了XD)

錯誤訊息大概是這樣:

testuser@ubuntu:~$ sudo apt-get install zram-config
Reading package lists… Done
Building dependency tree
Reading state information… Done
The following NEW packages will be installed:
zram-config
0 upgraded, 1 newly installed, 0 to remove and 0 not upgraded.
Need to get 0 B/3,078 B of archives.
After this operation, 42.0 kB of additional disk space will be used.
Selecting previously unselected package zram-config.
(Reading database … 107939 files and directories currently installed.)
Unpacking zram-config (from …/zram-config_0.1_all.deb) …
Processing triggers for ureadahead …
Setting up zram-config (0.1) …
start: Job failed to start
invoke-rc.d: initscript zram-config, action “start” failed.
dpkg: error processing zram-config (–configure):
subprocess installed post-installation script returned error exit status 1

Errors were encountered while processing:
zram-config
E: Sub-process /usr/bin/dpkg returned an error code (1)

繼續閱讀