Scrapy
Scrapy 是使用 Python 開發的一個web抓取框架,用於抓取web站點並從頁面中提取結構化的數據。Scrapy 用途廣泛,可以用於數據挖掘、監測和自動化測試等。
https://en.wikipedia.org/wiki/Scrapy
https://kknews.cc/other/3x8o3zy.html
https://kknews.cc/other/ka2r32p.html
https://en.wikipedia.org/wiki/Scrapy
https://kknews.cc/other/3x8o3zy.html
https://kknews.cc/other/ka2r32p.html
Electron (software framework)
Electron(最初名為 Atom Shell)是 GitHub 開發的一個開源框架。它允許使用Node.js(作為後端)和Chromium(作為前端)完成桌面 GUI 應用程式的開發。Electron 現已被多個開源 Web 應用程式用於前端與後端的開發,著名專案包括 GitHub 的 Atom 和微軟的 Visual Studio Code。
一個基礎的 Electron 包含三個檔案:package.json(後設資料), main.js(代碼)和 index.html(圖形化使用者介面)。框架由 Electron 可執行檔(Windows 中為 electron.exe、macOS 中為 electron.app、Linux 中為 electron)提供。開發者可以自行添加標誌、自訂圖示、重新命名或編輯 Electron 可執行檔。
https://en.wikipedia.org/wiki/Electron_(software_framework)
https://electronjs.org
一個基礎的 Electron 包含三個檔案:package.json(後設資料), main.js(代碼)和 index.html(圖形化使用者介面)。框架由 Electron 可執行檔(Windows 中為 electron.exe、macOS 中為 electron.app、Linux 中為 electron)提供。開發者可以自行添加標誌、自訂圖示、重新命名或編輯 Electron 可執行檔。
https://en.wikipedia.org/wiki/Electron_(software_framework)
https://electronjs.org
Framework 總覽
Linux 的開源,但對大多數人而言,等於閉源。不說完全理解,終其一生未必能讀完!
編譯一下內核可能是唯一的娛樂,想改內核?能合併成功嗎?
反覆造輪子是一個必然的過程,只是誰來造?是大廠造還是小廠造?科學家造還是民科造?
即使技術不發展,用戶的需求和使用習慣也會發展。微軟不會滿足有了 MFC,就從此打住;諾基亞即使收購了 QT,它仍然會研發其他平台。
MFC,QT 並不是不優秀,至少在它鼎盛的時代,它是王者。當然,任何優秀都是在一個時間域裡面的。相信谷歌開發 Go 語言的時候,並不是認為其他語言不優秀,而是應用場景發生了變化。
新的軟件框架,必定層出不窮,這是無法阻擋的趨勢!新的軟件框架由於考慮到了最新的用戶場景,往往較舊軟件有很大優勢,比如 Chrome 比 IE 强;Edge又比 IE 强。
輪子必定是需要重覆製造的,為的是更適應變化後的場景。即使作了最好的自行車輪子,也不能把它裝在汽車上,重覆造輪子本身不是一個問題,問題只是誰來造?給誰用?
MFC、WTL、WPF、wxWidgets、Qt、GTK 等等有何差別、優劣:https://www.zhihu.com/question/23480014
基本上 C++ 開發界面可以分成幾個時代:
Gen1:MFC/QT時代
這個現在可以說確實已經過時了,龐大的鏈接庫才實現了基本的界面元素。同時可定制化界面要花很大的功夫。
Gen2:directUI/ATL/輪子哥的庫
MFC後續沒有什麼大發展後,確實很多程序員轉向了微軟的另一個解決方案,那就是 ATL 以及直接利用基礎庫再自己畫界面的階段。首先這種方案確實是減小了程序的體積,但是缺點與上述 Gen1 差不多,界面的實現往往需要很多的代碼。
Gen3:WPF等微軟提供的新技術
所有的程序員都不得不接受的兩個事實是,第一 C++ 在微軟開發工具裡面確實都不如 C# 能拿到更多的資源,第二是微軟自從比爾蓋茲離職後,在開發框架上搖擺不定,出現了很多的框架然後又自我否定。很多的 C++ 程序員在這麼長的時間裡面已經消磨掉了微軟過去建立的優勢了。
Gen4:webkit\Chrome\Electron
當放棄 MS 的解決方案後就會發現世界還是很美好的。眾多的第三方都提供了很多更好的方案。這些方案代表了未來的趨勢,那就是把瀏覽器引擎包裝起來,利用 html 來製作界面。Github,Google,Apple 都貢獻良多。在這些基礎之上,很多公司也把自己的一些方案提供給大家,很多大公司的選擇也表明了這才是未來的發展方向。
如何實現 iOS 和 Android 跨平台的開發:https://www.zhihu.com/question/36019568
編譯一下內核可能是唯一的娛樂,想改內核?能合併成功嗎?
反覆造輪子是一個必然的過程,只是誰來造?是大廠造還是小廠造?科學家造還是民科造?
即使技術不發展,用戶的需求和使用習慣也會發展。微軟不會滿足有了 MFC,就從此打住;諾基亞即使收購了 QT,它仍然會研發其他平台。
MFC,QT 並不是不優秀,至少在它鼎盛的時代,它是王者。當然,任何優秀都是在一個時間域裡面的。相信谷歌開發 Go 語言的時候,並不是認為其他語言不優秀,而是應用場景發生了變化。
新的軟件框架,必定層出不窮,這是無法阻擋的趨勢!新的軟件框架由於考慮到了最新的用戶場景,往往較舊軟件有很大優勢,比如 Chrome 比 IE 强;Edge又比 IE 强。
輪子必定是需要重覆製造的,為的是更適應變化後的場景。即使作了最好的自行車輪子,也不能把它裝在汽車上,重覆造輪子本身不是一個問題,問題只是誰來造?給誰用?
MFC、WTL、WPF、wxWidgets、Qt、GTK 等等有何差別、優劣:https://www.zhihu.com/question/23480014
基本上 C++ 開發界面可以分成幾個時代:
Gen1:MFC/QT時代
這個現在可以說確實已經過時了,龐大的鏈接庫才實現了基本的界面元素。同時可定制化界面要花很大的功夫。
Gen2:directUI/ATL/輪子哥的庫
MFC後續沒有什麼大發展後,確實很多程序員轉向了微軟的另一個解決方案,那就是 ATL 以及直接利用基礎庫再自己畫界面的階段。首先這種方案確實是減小了程序的體積,但是缺點與上述 Gen1 差不多,界面的實現往往需要很多的代碼。
Gen3:WPF等微軟提供的新技術
所有的程序員都不得不接受的兩個事實是,第一 C++ 在微軟開發工具裡面確實都不如 C# 能拿到更多的資源,第二是微軟自從比爾蓋茲離職後,在開發框架上搖擺不定,出現了很多的框架然後又自我否定。很多的 C++ 程序員在這麼長的時間裡面已經消磨掉了微軟過去建立的優勢了。
Gen4:webkit\Chrome\Electron
當放棄 MS 的解決方案後就會發現世界還是很美好的。眾多的第三方都提供了很多更好的方案。這些方案代表了未來的趨勢,那就是把瀏覽器引擎包裝起來,利用 html 來製作界面。Github,Google,Apple 都貢獻良多。在這些基礎之上,很多公司也把自己的一些方案提供給大家,很多大公司的選擇也表明了這才是未來的發展方向。
如何實現 iOS 和 Android 跨平台的開發:https://www.zhihu.com/question/36019568
美43%勞動力 納入零工經濟
《富比世》統計,美國至少有43%的勞動力在2020年前變成自由工作者。
零工經濟在美國到底有多夯?根據麥肯錫顧問公司最新的統計,在美國,大約有1/4的勞動力成為參與零工經濟的大軍。
這些工作包括從互聯網和各式APP尋找和接受指派的特定工作,如替人清潔房屋,修理水管到開車迎接陌生人和送他(她)到目的地,甚至將自己的房子分租出去,在廣義上都屬於零工經濟的一環。
透過網站人脈 找到工作
令人吃驚的是,零工經濟並不是一項瞬間即逝的新型現象,而是一項持久趨勢。根據《富比世》統計,美國至少有43%的勞動力在2020年前變成自由工作者。趨勢專家指出,對於已經退休的勞動力或是女性勞動力,零工經濟絕對是未來的趨勢。
自己就是老闆 不停轉換
今年35歲、畢業於紐約大學的史密斯最近剛剛辭去了顧問公司的工作。他早就參與了零工經濟。過去2年他利用業餘時間,透過網站找到了臨時工作,在紐約下城區開設小提琴課,讓他能繼續從小對音樂的摯愛。另一方面,他透過過去人脈接下短期項目,為一些公司給予教育訓練和諮詢等工作。
史密斯表示,剛開始時覺得收入不固定,有些憂心。但他發覺在參與零工經濟的同時,讓他重燃了對工作的熱情。不用在乎老闆的臉色,自己就是老闆,為自己負責。在不同專業上轉換,拓寬了他的眼界和適應能力。
住在舊金山,今年58歲從IBM退休的比爾目前就因參與零工經濟獲得了人生的第二春。他利用Airbnb軟件當上了分租房東!比爾一開始每個月只有4~5天將有美麗視野的房間租出去,到現在幾乎每個月客滿,導致他去年清理女兒的房間並開始也放在Airbnb上出租,他現在每個月固定收入超過新台幣10萬元。他開心地表示,從未想到退休後還會繼續有固定收入,他計畫將租金收入存下來購買離市區比較遠但適宜出租的便宜公寓,並且將他成功出租房屋的模式(提供照片,服務和合理的房租)擴展,利用Airbnb投資房地產。
大展個人專長 月賺29萬
推廣零工經濟的TaskRabbit網站,公司發言人威廉斯女士表示,有任何專業技能的人都可以登錄他們的網站,詳列他們能夠提供的專業服務和收費計畫,並且根據市場反應隨時調整。她透露,已經有許多人透過他們的網站月賺超過新台幣29萬元(1萬美元)以上。她認為這樣的模式可能是未來強調個人專長但又不希望被公司捆綁的另一工作選項。
寫下暢銷書《零工經濟》的作者黛安.穆爾卡認為,未來全職工作將越來越少,進入高度競爭市場的勞動力必須將零工經濟作為生涯規畫的一環。積極找到既能貢獻專業,又能在工作中保持對工作熱情的持久動力,零工經濟的概念對年輕人,已經從職場退出但仍想貢獻所長的人非常重要。但如何能找到更好的工作,有更多自主的時間並相應得到可以讓你滿意的生活支撐,則需要細心的計畫和準備,並且還要不斷求新和充實自己。
零工經濟在美國到底有多夯?根據麥肯錫顧問公司最新的統計,在美國,大約有1/4的勞動力成為參與零工經濟的大軍。
這些工作包括從互聯網和各式APP尋找和接受指派的特定工作,如替人清潔房屋,修理水管到開車迎接陌生人和送他(她)到目的地,甚至將自己的房子分租出去,在廣義上都屬於零工經濟的一環。
透過網站人脈 找到工作
令人吃驚的是,零工經濟並不是一項瞬間即逝的新型現象,而是一項持久趨勢。根據《富比世》統計,美國至少有43%的勞動力在2020年前變成自由工作者。趨勢專家指出,對於已經退休的勞動力或是女性勞動力,零工經濟絕對是未來的趨勢。
自己就是老闆 不停轉換
今年35歲、畢業於紐約大學的史密斯最近剛剛辭去了顧問公司的工作。他早就參與了零工經濟。過去2年他利用業餘時間,透過網站找到了臨時工作,在紐約下城區開設小提琴課,讓他能繼續從小對音樂的摯愛。另一方面,他透過過去人脈接下短期項目,為一些公司給予教育訓練和諮詢等工作。
史密斯表示,剛開始時覺得收入不固定,有些憂心。但他發覺在參與零工經濟的同時,讓他重燃了對工作的熱情。不用在乎老闆的臉色,自己就是老闆,為自己負責。在不同專業上轉換,拓寬了他的眼界和適應能力。
住在舊金山,今年58歲從IBM退休的比爾目前就因參與零工經濟獲得了人生的第二春。他利用Airbnb軟件當上了分租房東!比爾一開始每個月只有4~5天將有美麗視野的房間租出去,到現在幾乎每個月客滿,導致他去年清理女兒的房間並開始也放在Airbnb上出租,他現在每個月固定收入超過新台幣10萬元。他開心地表示,從未想到退休後還會繼續有固定收入,他計畫將租金收入存下來購買離市區比較遠但適宜出租的便宜公寓,並且將他成功出租房屋的模式(提供照片,服務和合理的房租)擴展,利用Airbnb投資房地產。
大展個人專長 月賺29萬
推廣零工經濟的TaskRabbit網站,公司發言人威廉斯女士表示,有任何專業技能的人都可以登錄他們的網站,詳列他們能夠提供的專業服務和收費計畫,並且根據市場反應隨時調整。她透露,已經有許多人透過他們的網站月賺超過新台幣29萬元(1萬美元)以上。她認為這樣的模式可能是未來強調個人專長但又不希望被公司捆綁的另一工作選項。
寫下暢銷書《零工經濟》的作者黛安.穆爾卡認為,未來全職工作將越來越少,進入高度競爭市場的勞動力必須將零工經濟作為生涯規畫的一環。積極找到既能貢獻專業,又能在工作中保持對工作熱情的持久動力,零工經濟的概念對年輕人,已經從職場退出但仍想貢獻所長的人非常重要。但如何能找到更好的工作,有更多自主的時間並相應得到可以讓你滿意的生活支撐,則需要細心的計畫和準備,並且還要不斷求新和充實自己。
Peer-to-Peer
比特幣 - 總覽:http://21st.each1.net/2017/03/blog-post_30.html
比特幣的論文標題為 Bitcoin: A Peer-to-Peer Electronic Cash System
其中涉及到 Peer-to-Peer 這類的技術,相關技術筆記整理於本文
BitTorrent協定(簡稱BT,俗稱位元洪流、BT下載)是用在對等網路中檔案分享的網路協定程式。用戶越多,下載同一檔案的人越多,下載該檔案的速度越快。且下載後,繼續維持上傳的狀態,就可以「分享」,成為其用戶端節點下載的種子檔案(.torrent),同時上傳及下載。
根據BitTorrent協定,檔案發布者會根據要發布的檔案生成提供一個.torrent檔案,即種子檔案,也簡稱為「種子」。
種子檔案本質上是文字檔案,包含Tracker資訊和檔案資訊兩部分。Tracker資訊主要是BT下載中需要用到的Tracker伺服器的位址和針對Tracker伺服器的設定,檔案資訊是根據對目的檔的計算生成的,計算結果根據BitTorrent協定內的Bencode規則進行編碼。它的主要原理是需要把提供下載的檔案虛擬分成大小相等的塊,塊大小必須為2k的整數次方(由於是虛擬分塊,硬碟上並不產生各個塊檔案),並把每個塊的索引資訊和Hash驗證碼寫入種子檔案中;所以,種子檔案就是被下載檔案的「索引」。
詳細內容:
https://en.wikipedia.org/wiki/Peer-to-peer
https://en.wikipedia.org/wiki/BitTorrent
How to write a simple BitTorrent application?
https://stackoverflow.com/questions/5400828/how-to-write-a-simple-bittorrent-application
https://en.wikipedia.org/wiki/Libtorrent
https://www.libtorrent.org
比特幣的論文標題為 Bitcoin: A Peer-to-Peer Electronic Cash System
其中涉及到 Peer-to-Peer 這類的技術,相關技術筆記整理於本文
BitTorrent協定(簡稱BT,俗稱位元洪流、BT下載)是用在對等網路中檔案分享的網路協定程式。用戶越多,下載同一檔案的人越多,下載該檔案的速度越快。且下載後,繼續維持上傳的狀態,就可以「分享」,成為其用戶端節點下載的種子檔案(.torrent),同時上傳及下載。
根據BitTorrent協定,檔案發布者會根據要發布的檔案生成提供一個.torrent檔案,即種子檔案,也簡稱為「種子」。
種子檔案本質上是文字檔案,包含Tracker資訊和檔案資訊兩部分。Tracker資訊主要是BT下載中需要用到的Tracker伺服器的位址和針對Tracker伺服器的設定,檔案資訊是根據對目的檔的計算生成的,計算結果根據BitTorrent協定內的Bencode規則進行編碼。它的主要原理是需要把提供下載的檔案虛擬分成大小相等的塊,塊大小必須為2k的整數次方(由於是虛擬分塊,硬碟上並不產生各個塊檔案),並把每個塊的索引資訊和Hash驗證碼寫入種子檔案中;所以,種子檔案就是被下載檔案的「索引」。
詳細內容:
https://en.wikipedia.org/wiki/Peer-to-peer
https://en.wikipedia.org/wiki/BitTorrent
How to write a simple BitTorrent application?
https://stackoverflow.com/questions/5400828/how-to-write-a-simple-bittorrent-application
https://en.wikipedia.org/wiki/Libtorrent
https://www.libtorrent.org
比特幣 - Source Code - 筆記
比特幣 - 總覽:http://21st.each1.net/2017/03/blog-post_30.html
檔案:src/base58.h
Base58 是用於 Bitcoin 中使用的一種獨特的編碼方式,主要用於產生 Bitcoin 的錢包地址。相比 Base64,Base58 不使用數字 "0",字母大寫 "O",字母大寫 "I",和字母小寫 "l",以及 "+" 和 "/" 符號。
設計 Base58 主要的目的是:
1. 避免混淆。在某些字體下,數字 0 和字母大寫 O,以及字母大寫 I 和字母小寫 l 會非常相似。
2. 不使用 "+" 和 "/" 的原因是非字母或數字的字符串,如果作為帳號會比較難被人們所接受。
3. 沒有標點符號,這樣子通常不會被從中間分行。
4. 大部分的軟體支持雙擊選擇整個字符串。
由於 256 不能被 58 整除,Base58 無法像 Base64 那樣轉換為 8bits 的 2 進位後依次取出 6bits 就可以快速完成轉換。因此,Base58 編碼算法需要除法運算實現,如果被編碼的數據較長,則要用特殊的類來處理大數,Bitcoin 使用了 OpenSSL 中的 BIGNUM。
編碼符號表:https://zh.wikipedia.org/wiki/Base58
比特幣區塊鏈的關鍵核心技術,包括採用 Hashcash 演算法來進行工作量證明,讓區塊鏈中的各節點有機會參與驗證,達到公正性,且交易過程採用橢圓曲線數位簽章演算法來確保交易安全,並在每筆交易與每個區塊中使用多次 Hash 函數以及 Merkle Tree,不只是為了節省儲存空間,更重要的是藉由將前一個區塊的 Hash 值加入新區塊中,讓每個區塊環環相扣,也因此做到所謂的可追蹤且不可竄改的特性,同時也使用時間戳來確保區塊序列。
關鍵技術 1
採用工作量證明達到去中心化及公正性
首先,最關鍵的便其工作量證明機制(Proof of Work,POW),這是一個可以讓每個參與的節點可共同參與交易驗證的方式,來實現一個能多方共同維護的單一系統,並共享同一份記錄交易的帳本,以形成一個基於零信任基礎,卻能實現去中心化的P2P網路系統。
工作量證明是讓任一運算節點,花費時間和運算資源來計算出一組數學公式的結果,且要完成一次有效的工作量證明,需經過一連串地嘗試與失敗。不過,一旦這個數值被算出來後,其他參與節點也可用相關的數學公式,便能很容易去驗證這個值是否有效。
比特幣區塊鏈採用Hashcash演算法(雜湊現金演算法)作為工作量證明,讓各節點經由POW計算來產生每一個有效的新區塊,再經由其他節點驗證並接受。
進行POW計算的過程也被稱作挖礦,很多人用解一道數學題、或是解一個數獨來形容,不過,怎樣才是真的算出一個有效的新區塊,這些節點到底在算什麼?
由於每個區塊中Block Header會包含許多固定的值,其中只有Nonce值為一隨機值,因此每個節點進行POW計算時要算的就是,藉由不斷替換這個Nonce值,來讓這個區塊的Block Header Hash值,小於一個被設定好的難度目標值(Difficulty Target),至於為什麼要小於這個目標值,則是因為這個難度值意味著每個區塊在理論上應該要被產生完成。
這裡提到的難度值(Difficulty)是指,節點要運算出低於困難度目標值的Hash值,平均需花多久時間,也就是平均要完成一次POW的時間。而比特幣區塊鏈目前設定為,大約每10分鐘會有節點成功算出新的區塊,不過這10分鐘只是基於理論值,實際每個新區塊產生的時間,有可能只需要17秒(第407062個區塊的實際產生時間),也有可能需要20分鐘以上(第407068個區塊的實際產生時間)。
Difficulty可動態調整,目前每產生2016個區塊會調整一次難度,以每10分鐘產生一區塊估算,大約是每兩周會調整一次Difficulty。 由於POW具有一定的難度,因此無法預期哪個運算節點可以最快算出新區塊,藉此來確保交易驗證的公正性。
關鍵技術 2
每筆交易採橢圓曲線數位簽章演算法加密
比特幣區塊鏈便採用橢圓曲線數位簽章演算法(ECDSA),與另一種RSA演算法,都屬於公開金鑰加密演算法(Public Key Cryptography),公開金鑰加密技術在1970年代被發明,也稱為雙金鑰密碼安全系統,每個使用者會擁有公開金鑰(Public Key)與私密金鑰(Private Key)這兩把鑰匙,公開金鑰可讓其他人知道,而私密金鑰則只有本人知道。當A要傳送一筆訊息或交易給B時,需使用B的公開金鑰來將這份交易加密,而這這個加密過的訊息或交易,只有使用B的私密金鑰才能解開。
在比特幣區塊鏈中,比特幣區塊鏈便採用橢圓曲線數位簽章演算法,每一個比特幣區塊鏈中的節點使用者,會同時擁有這兩把金鑰,以及一次性使用的比特幣位址(Address),公開金鑰可讓區塊鏈網絡中的其他人知道,而私密金鑰則須自行保管,可用來接收貨幣、進行電子簽章或是發送貨幣,而Address就像電子郵件一樣可用來當作存取比特幣的地址,使用者可重複取得新的Address,且可以在離線狀態下產生,不過,每個Address只能使用一次。
在比特幣區塊鏈中,每一枚電子貨幣被視為一串數位簽章,使用者要進行比特幣交易時,必須將前一筆交易以及收款方的公開金鑰經由Hash產生數位簽章,加到電子貨幣那串數位簽章的後方。
RSA加密演算法是一種非對稱的加密演算法,利用兩個質數作為加密與解密用的兩把鑰匙,金鑰長度約在40個位元到1024位元。不過比特幣所採用的ECDSA能算出更短的金鑰長度,也就是能夠使用相對較少的資源,做到與RSA相同的安全性。在ECDSA演算法中,由私密金鑰算出公開金鑰很容易,但要從公開金鑰推回私密金鑰卻很困難。
關鍵技術 3
Hashcash演算法及多種Hash函數確保資料不被竄改
前面提到比特幣區塊鏈採用Hashcash演算法來進行工作量證明,Hashcash可將任意長度的資料經由Hash函數轉換為一組固定長度的代碼,原理是基於一種密碼學上的單向雜湊函數 (One Way Hash Function),這種函數很容易被驗證,但是卻很難破解,還回推出原本的值。先前Hashcash演算法也被用來做阻擋垃圾郵件的機制。
常使用的單向雜湊函數包括MD5、SHA-1、SHA-256、SHA-384及SHA-512等,MD5的Hash值長度為128位元,雖然廣為使用,但因長度不夠較容易破解,SHA-1的Hash值長度有160位元,雖比MD5好但仍然不夠安全,因此美國國家安全局(NSA)又提出多種更複雜的SHA-2演算法,包括224、256、384、512位元長度的Hash值算法。
Hashcash最早在1997年由Adam Back提出,並於2002 正式發表一篇描述雜湊現金系統的論文。比特幣區塊鏈採用Hashcash來建立一套幾乎無法被竄改的電子現金系統,每個區塊的Block Header都會被Hash成一串很難被回推的代碼後,放進下一個區塊中,來確保區塊的正確性。
關鍵技術 4
經由Merkle Tree將大量訊息縮短成一個Hash值
在比特幣區塊鏈中,每筆交易產生後,都已經被Hash成一段代碼才廣播給各節點,不過這樣做還不夠,因為在各節點的區塊中,可能包含數百筆到數千筆的交易,因此,為節省儲存空間並減少資源耗費,比特幣區塊鏈的設計原理採用Merkle Tree機制,讓這些數百到數千筆的交易Hash值,經由兩兩一組形成一個新Hash值的方式,不斷重複進行,直到最後產生一組最終的Hash值,也就是Merkle Tree Root,這個最終的Hash值便會被記錄到Block Header中,只有32 Bytes的大小。Merkle Tree機制可大幅減少資料傳輸量與運算資源消耗,驗證時,只需驗證這個Merkle Tree的Root值即可。
關鍵技術 5
用時間戳伺服器(Timestamp Server)確保區塊序列
比特幣採用時間戳伺服器機制(Timestamp Server),將每個區塊Hash後加上一個時間戳(Timestamp)並發布出去,這個時間戳用來證明資料在特定時間的有效性,每一個時間戳章會與前一個戳章一起進行Hash,這個Hash值會在與下一個時間戳章進行Hash,因此而形成一個用來確保區塊序列的鏈條。
含英文字幕的影片,在 20分鐘左右有 proof-of-work (PoW) 的程式碼實作
https://www.youtube.com/watch?v=5Tr13l0O1Ws
中文字幕,必須等待廣告跑完:https://www.leiphone.com/news/201802/1C2RI7Zrk89Tp8OV.html
檔案:src/base58.h
Base58 是用於 Bitcoin 中使用的一種獨特的編碼方式,主要用於產生 Bitcoin 的錢包地址。相比 Base64,Base58 不使用數字 "0",字母大寫 "O",字母大寫 "I",和字母小寫 "l",以及 "+" 和 "/" 符號。
設計 Base58 主要的目的是:
1. 避免混淆。在某些字體下,數字 0 和字母大寫 O,以及字母大寫 I 和字母小寫 l 會非常相似。
2. 不使用 "+" 和 "/" 的原因是非字母或數字的字符串,如果作為帳號會比較難被人們所接受。
3. 沒有標點符號,這樣子通常不會被從中間分行。
4. 大部分的軟體支持雙擊選擇整個字符串。
由於 256 不能被 58 整除,Base58 無法像 Base64 那樣轉換為 8bits 的 2 進位後依次取出 6bits 就可以快速完成轉換。因此,Base58 編碼算法需要除法運算實現,如果被編碼的數據較長,則要用特殊的類來處理大數,Bitcoin 使用了 OpenSSL 中的 BIGNUM。
編碼符號表:https://zh.wikipedia.org/wiki/Base58
比特幣區塊鏈的關鍵核心技術,包括採用 Hashcash 演算法來進行工作量證明,讓區塊鏈中的各節點有機會參與驗證,達到公正性,且交易過程採用橢圓曲線數位簽章演算法來確保交易安全,並在每筆交易與每個區塊中使用多次 Hash 函數以及 Merkle Tree,不只是為了節省儲存空間,更重要的是藉由將前一個區塊的 Hash 值加入新區塊中,讓每個區塊環環相扣,也因此做到所謂的可追蹤且不可竄改的特性,同時也使用時間戳來確保區塊序列。
關鍵技術 1
採用工作量證明達到去中心化及公正性
首先,最關鍵的便其工作量證明機制(Proof of Work,POW),這是一個可以讓每個參與的節點可共同參與交易驗證的方式,來實現一個能多方共同維護的單一系統,並共享同一份記錄交易的帳本,以形成一個基於零信任基礎,卻能實現去中心化的P2P網路系統。
工作量證明是讓任一運算節點,花費時間和運算資源來計算出一組數學公式的結果,且要完成一次有效的工作量證明,需經過一連串地嘗試與失敗。不過,一旦這個數值被算出來後,其他參與節點也可用相關的數學公式,便能很容易去驗證這個值是否有效。
比特幣區塊鏈採用Hashcash演算法(雜湊現金演算法)作為工作量證明,讓各節點經由POW計算來產生每一個有效的新區塊,再經由其他節點驗證並接受。
進行POW計算的過程也被稱作挖礦,很多人用解一道數學題、或是解一個數獨來形容,不過,怎樣才是真的算出一個有效的新區塊,這些節點到底在算什麼?
由於每個區塊中Block Header會包含許多固定的值,其中只有Nonce值為一隨機值,因此每個節點進行POW計算時要算的就是,藉由不斷替換這個Nonce值,來讓這個區塊的Block Header Hash值,小於一個被設定好的難度目標值(Difficulty Target),至於為什麼要小於這個目標值,則是因為這個難度值意味著每個區塊在理論上應該要被產生完成。
這裡提到的難度值(Difficulty)是指,節點要運算出低於困難度目標值的Hash值,平均需花多久時間,也就是平均要完成一次POW的時間。而比特幣區塊鏈目前設定為,大約每10分鐘會有節點成功算出新的區塊,不過這10分鐘只是基於理論值,實際每個新區塊產生的時間,有可能只需要17秒(第407062個區塊的實際產生時間),也有可能需要20分鐘以上(第407068個區塊的實際產生時間)。
Difficulty可動態調整,目前每產生2016個區塊會調整一次難度,以每10分鐘產生一區塊估算,大約是每兩周會調整一次Difficulty。 由於POW具有一定的難度,因此無法預期哪個運算節點可以最快算出新區塊,藉此來確保交易驗證的公正性。
關鍵技術 2
每筆交易採橢圓曲線數位簽章演算法加密
比特幣區塊鏈便採用橢圓曲線數位簽章演算法(ECDSA),與另一種RSA演算法,都屬於公開金鑰加密演算法(Public Key Cryptography),公開金鑰加密技術在1970年代被發明,也稱為雙金鑰密碼安全系統,每個使用者會擁有公開金鑰(Public Key)與私密金鑰(Private Key)這兩把鑰匙,公開金鑰可讓其他人知道,而私密金鑰則只有本人知道。當A要傳送一筆訊息或交易給B時,需使用B的公開金鑰來將這份交易加密,而這這個加密過的訊息或交易,只有使用B的私密金鑰才能解開。
在比特幣區塊鏈中,比特幣區塊鏈便採用橢圓曲線數位簽章演算法,每一個比特幣區塊鏈中的節點使用者,會同時擁有這兩把金鑰,以及一次性使用的比特幣位址(Address),公開金鑰可讓區塊鏈網絡中的其他人知道,而私密金鑰則須自行保管,可用來接收貨幣、進行電子簽章或是發送貨幣,而Address就像電子郵件一樣可用來當作存取比特幣的地址,使用者可重複取得新的Address,且可以在離線狀態下產生,不過,每個Address只能使用一次。
在比特幣區塊鏈中,每一枚電子貨幣被視為一串數位簽章,使用者要進行比特幣交易時,必須將前一筆交易以及收款方的公開金鑰經由Hash產生數位簽章,加到電子貨幣那串數位簽章的後方。
RSA加密演算法是一種非對稱的加密演算法,利用兩個質數作為加密與解密用的兩把鑰匙,金鑰長度約在40個位元到1024位元。不過比特幣所採用的ECDSA能算出更短的金鑰長度,也就是能夠使用相對較少的資源,做到與RSA相同的安全性。在ECDSA演算法中,由私密金鑰算出公開金鑰很容易,但要從公開金鑰推回私密金鑰卻很困難。
關鍵技術 3
Hashcash演算法及多種Hash函數確保資料不被竄改
前面提到比特幣區塊鏈採用Hashcash演算法來進行工作量證明,Hashcash可將任意長度的資料經由Hash函數轉換為一組固定長度的代碼,原理是基於一種密碼學上的單向雜湊函數 (One Way Hash Function),這種函數很容易被驗證,但是卻很難破解,還回推出原本的值。先前Hashcash演算法也被用來做阻擋垃圾郵件的機制。
常使用的單向雜湊函數包括MD5、SHA-1、SHA-256、SHA-384及SHA-512等,MD5的Hash值長度為128位元,雖然廣為使用,但因長度不夠較容易破解,SHA-1的Hash值長度有160位元,雖比MD5好但仍然不夠安全,因此美國國家安全局(NSA)又提出多種更複雜的SHA-2演算法,包括224、256、384、512位元長度的Hash值算法。
Hashcash最早在1997年由Adam Back提出,並於2002 正式發表一篇描述雜湊現金系統的論文。比特幣區塊鏈採用Hashcash來建立一套幾乎無法被竄改的電子現金系統,每個區塊的Block Header都會被Hash成一串很難被回推的代碼後,放進下一個區塊中,來確保區塊的正確性。
關鍵技術 4
經由Merkle Tree將大量訊息縮短成一個Hash值
在比特幣區塊鏈中,每筆交易產生後,都已經被Hash成一段代碼才廣播給各節點,不過這樣做還不夠,因為在各節點的區塊中,可能包含數百筆到數千筆的交易,因此,為節省儲存空間並減少資源耗費,比特幣區塊鏈的設計原理採用Merkle Tree機制,讓這些數百到數千筆的交易Hash值,經由兩兩一組形成一個新Hash值的方式,不斷重複進行,直到最後產生一組最終的Hash值,也就是Merkle Tree Root,這個最終的Hash值便會被記錄到Block Header中,只有32 Bytes的大小。Merkle Tree機制可大幅減少資料傳輸量與運算資源消耗,驗證時,只需驗證這個Merkle Tree的Root值即可。
關鍵技術 5
用時間戳伺服器(Timestamp Server)確保區塊序列
比特幣採用時間戳伺服器機制(Timestamp Server),將每個區塊Hash後加上一個時間戳(Timestamp)並發布出去,這個時間戳用來證明資料在特定時間的有效性,每一個時間戳章會與前一個戳章一起進行Hash,這個Hash值會在與下一個時間戳章進行Hash,因此而形成一個用來確保區塊序列的鏈條。
含英文字幕的影片,在 20分鐘左右有 proof-of-work (PoW) 的程式碼實作
https://www.youtube.com/watch?v=5Tr13l0O1Ws
中文字幕,必須等待廣告跑完:https://www.leiphone.com/news/201802/1C2RI7Zrk89Tp8OV.html
商品潮流觀察
https://www.amazon.com/MultiPot-Programmable-Pressure-Cooker-Mealthy/dp/B076QJNK8G/ref=sr_1_8?s=kitchen&ie=UTF8&qid=1520756563&sr=1-8&keywords=instant+pot
https://www.amazon.com/dp/B00I4VPYTO/ref=twister_B00IO5VPF2?_encoding=UTF8&th=1
https://www.amazon.com/Vincero-Luxury-Womens-Wrist-Watch/dp/B078YCN8N1/ref=sr_1_8?ie=UTF8&qid=1520753607&sr=8-8&keywords=vincero
https://www.amazon.com/gp/product/B01FIS82WQ/ref=s9_acss_bw_cg_gclptcg_2a1_w?pf_rd_m=ATVPDKIKX0DER&pf_rd_s=merchandised-search-3&pf_rd_r=AZV917W9DJ6BTV4DBHVH&pf_rd_t=101&pf_rd_p=97b46b55-3374-443f-bc63-bbdcf30e73e5&pf_rd_i=2238192011
https://www.amazon.com/dp/B0758HHJY5/ref=sspa_dk_detail_1?psc=1&pd_rd_i=B0758HHJY5&pd_rd_wg=m3VFc&pd_rd_r=2943V95SZQB6K1GEMFCZ&pd_rd_w=GjXyP
https://www.amazon.com/gp/product/B00OJAI96Y/ref=s9_dcacsd_dcoop_bw_c_x_1_w
虛擬記憶體 Swap
http://linux.vbird.org/linux_basic/0230filesystem/0230filesystem.php#swap
https://yungke.li/how-vultr-swap/
在設定之前,先檢查系統裡有沒有既存的 swap 文件。
swapon -s
free -m
如何在 Linux 裡建立 Swap file,步驟與解說如下:
1. 本範例建立一個 2G 大小的 swap 檔,命名為 swapfile 放在根目錄
$ sudo dd if=/dev/zero of=/swapfile bs=1M count=2048
2. 設定 swap
$ sudo mkswap /swapfile
3. 啟用 swap
$ sudo swapon /swapfile
4. 設定開機自動啟動 swap
$ sudo vi /etc/fstab
在 fstab 這個檔案裡頭加上這一行
/swapfile swap swap defailts 0 0
完整解說:
dd 是 convert and copy a file。
/dev/zero是一個特殊的檔案,當讀取它的時候,它會提供無限的空字元 ( NULL, ASCII NUL, 0x00 )。
一個典型用法是用它提供的字元流來覆蓋資訊,另一個常見用法是產生一個特定大小的空白檔案。
if 是輸入文件,of 是輸出文件,
dd 可以轉換類型,然後把這些 0x00 寫入一個 swapfile。
bs 是區塊大小,count 是數量,所以本範例建立了 2048 個 1M 大小的區塊,共計 2G。
做完這一步以後,可以用如下指令查看一下:
$ file /swapfile
接著,mkswap 可將磁盤分區或文件設為 Linux 的交換區。
因此,基本的流程就是:
以 dd 指令來建立 swapfile ;
以 mkswap 來將 swapfile 格式化為 swap 的檔案格式;
以 swapon 來啟動該檔案,使成為 swap。
刪除swap file
Step 1 . sudo swapoff /swapfile
Step 2 . 將 /etc/fstab 中的設定移除
Step 3 . sudo rm /swapfile
https://yungke.li/how-vultr-swap/
在設定之前,先檢查系統裡有沒有既存的 swap 文件。
swapon -s
free -m
如何在 Linux 裡建立 Swap file,步驟與解說如下:
1. 本範例建立一個 2G 大小的 swap 檔,命名為 swapfile 放在根目錄
$ sudo dd if=/dev/zero of=/swapfile bs=1M count=2048
2. 設定 swap
$ sudo mkswap /swapfile
3. 啟用 swap
$ sudo swapon /swapfile
4. 設定開機自動啟動 swap
$ sudo vi /etc/fstab
在 fstab 這個檔案裡頭加上這一行
/swapfile swap swap defailts 0 0
完整解說:
dd 是 convert and copy a file。
/dev/zero是一個特殊的檔案,當讀取它的時候,它會提供無限的空字元 ( NULL, ASCII NUL, 0x00 )。
一個典型用法是用它提供的字元流來覆蓋資訊,另一個常見用法是產生一個特定大小的空白檔案。
if 是輸入文件,of 是輸出文件,
dd 可以轉換類型,然後把這些 0x00 寫入一個 swapfile。
bs 是區塊大小,count 是數量,所以本範例建立了 2048 個 1M 大小的區塊,共計 2G。
做完這一步以後,可以用如下指令查看一下:
$ file /swapfile
接著,mkswap 可將磁盤分區或文件設為 Linux 的交換區。
因此,基本的流程就是:
以 dd 指令來建立 swapfile ;
以 mkswap 來將 swapfile 格式化為 swap 的檔案格式;
以 swapon 來啟動該檔案,使成為 swap。
刪除swap file
Step 1 . sudo swapoff /swapfile
Step 2 . 將 /etc/fstab 中的設定移除
Step 3 . sudo rm /swapfile
訂閱:
文章 (Atom)
程式語言編年史
程式語言編年史原文 下面這張圖片描繪了整個程式語言的歷史。包括各種程式語言的發明人、程式語言的特點和適用領域、被什麼網站或公司使用等 (檢視 完整高清圖 )。 之所以會有那麼多不同的程式語言是因為設計程式語言的初衷不同、對語言學習曲線的追求不同、不同程式之間的執行成本差異...











