Try To Speed Up Shell Script Processing Via Command parallel On GNU/Linux

由於CentOS未在其官網列出各release版本的具體釋出時間,只能通過 遍歷Announce Archive頁面中的所有歷史文檔實現。Announce Archive頁面截至2017.06.22,按月份共有 148 個鏈接,需逐個獲取其HTML頁面用於分析。在Shell Script實現過程中遇到一個問題:採用while命令逐行讀取進行操作導致 遍歷 操作耗時過長,將近 180s。後嘗試通過GNU Parallel改寫腳本,成功將操作耗時控制在 15~10s 之內,運行時間縮短 90% 以上。

Read More

Reverse Every Character In Line Via GNU sed On GNU/Linux

GNU sed是一款文本流編輯器(stream editor),USEFUL ONE-LINE SCRIPTS FOR SED通过命令sed '/\n/!G;s/\(.\)\(.*\n\)/&\2\1/;//D;s/.//'實現字符串逆序排列(功能類似於rev)。網路上已有對該命令的解釋

Read More

Reverse Order Of Lines Via GNU sed On GNU/Linux

GNU sed是一款文本流編輯器(stream editor),USEFUL ONE-LINE SCRIPTS FOR SED中提供了2種方案用以實現文本行的倒置(最後一行變成第一行,依次類推,功能類似於tac)。分別是sed '1!G;h;$!d'sed -n '1!G;h;$p',二者本質上是一樣的。本文主要討論前一種操作的實現過程。

Read More

Extract Proxy IP From Proxy Sites On GNU/Linux

本文記錄如何從代理IP網站抓取代理IP,網站來源及部分代碼參考自KyxRecon/proxy-scraper.sh。協議類型可分爲HTTPSOCKS兩種,HTTP細分爲HTTPHTTPS兩種,根據匿名等級分爲transparentanonymoushigh-anonymous三種;SOCKS細分爲SOCKS4SOCKS5兩種。就隱藏真實IP而言,HTTPhigh-anonymousSOCKS5類型代理IP爲理想選擇。

Read More

Common Code Snippets Of Shell Script On GNU/Linux

以下爲個人撰寫的Shell Script代碼段,用於提高個人生產效率。格式分爲2種:在Shell Script中,在~/.bashrc中。

~/.bashrc中,需要對雙引號"和awk中的$做轉義。

Read More

Extract Free IP:PORT Proxy Lists From HIDEMYASS Via SED & AWK

HIDEMYASSFree Proxy List提供免費的代理IP,可用於ProxyChains的配置。ProxyChains常與Tor組合使用,通過代理服務器實現網絡匿名。本文主要討論如何通過sedawkHIDEMYASSFREE IP:PORT PROXY LISTS的HTML頁面中提取到相關數據,併通過Shell Script實現整個操作。

Read More

Print The Previous Or Next Line Of The Matched Line Via AWK OR SED

在GNU/Linux中,awk(gawk)sed可用於處理文本數據。本文討論的是如何使用二者提取匹配數據行的前一行或後一行數據。如果匹配數據行出現多次,則只輸出第一次匹配到的數據行。

Read More

OpenSSH Config File Usage Introduction

在GNU/Linux中,OpenSSH可分爲 client 和 server 端。其中 client 的配置文件有2個,一個是全局配置文件/etc/ssh/ssh_config,另一個是用戶配置文件~/.ssh/config,默認後者中的設置會覆蓋前者(全局配置文件)。通過配置~/.ssh/config,可實現SSH的自定義操作。

Read More

Installing & Updating Docker Community Edition(CE) On GNU/Linux

Docker是一款開源的,提供Operating-system-level virtualization(操作系統級別的虛擬化的)容器(container)產品,可實現在軟件容器中自動部署應用。目前有Enterprise Edition(EE)Community Edition(CE)Cloud三個變種。本文記錄在GNU/Linux中安裝、配置Docker Engine的過程,並通過Shell Script實現

Read More

Use Shell Script To Install & Update LibreOffice On GNU/Linux

LibreOffice是一款免費、開源的辦公套件,多語言支持,是The Document Foundation(TDF)的一個項目。該項目於2010年開始,其最初的源碼來自OpenOffice,第一個版本於Jan 25, 2011釋出。LibreOffice包含多個功能強大的應用,如對文字(word)、電子數據表(spreadsheets)、幻燈片(slideshows)、圖表(diagrams)、製圖(drawings)、數據庫(databases)、數學公式(mathematical formulae)等的處理。

Read More

Git & GitHub Account Setting On GNU/Linux

Git是用於追蹤計算機文件變化、多人分工協作的版本控制系統,GitHub是基於Git的Web服務,除了提供Git的分佈式版本控制和源碼管理功能,還提供訪問控制、bug追蹤、任務管理、爲每個項目創建wiki頁面等功能,具體介紹見wikipedia

Read More

gensub - AWK String-Manipulation Functions Explanation

在OpenSUSE Leap 42.2中使用Gawkgensub函數時出現報錯,但相關命令在其它發行版中正常執行。覈實後發現與Gawk版本有關,出現報錯的版本是4.1.3,在該版本中gensub的使用方式與之前版本略有區別,經過測試,兼容舊版本。

Read More