淘寶技術這十年
2017-02-24
受訪者介紹：子柳，2004年加入淘寶網，歷任開發工程師、項目經理、產品經理、測試經理。2014年5月，子柳離開阿里，成為一名天使投資人。
2012年11月11日，191億元“奇跡”誕生前，正當許多買家正在享受購物狂歡時，突然一條這樣的提示信息出現在眼前：我們的系統檢測到您所在的網絡對淘寶網的訪問請求過于頻繁，很抱歉，現在暫時無法處理您的請求，請您過一段時間后再來訪問。“系統崩潰”以及“支付癱瘓”隨之被傳播。
殊不知道，這其實是故意的。因為我們要調控全局，所以進行了一部分限制。例如說，一瞬間買家的訪問流量實在太大了，原本我們準備了3個T，當到達2個T還在迅速增長的時候，我們判斷這有可能超出我們的承受能力范圍，因此，我們必須關掉一部分流量。如果不做限流，不讓一部分人先等等，可能會導致全盤系統的癱瘓。
這不是故障。淘寶技術經過了2009年至2012年這幾年時間的發展和升級后，早已具備了經受各種考驗的能力。
淘寶技術這十年
2008年以前、2008年至2012年、2012年以后，這是淘寶技術發展的三個重要時間節點。
2008年以前，淘寶的系統不論是技術難度還是架構難度都不是特別大，因為那個時候的流量、數據量，使用常用的技術手段就能解決。例如業界常用的解決方案IOE（IBM的小型機、Oracle的數據庫、EMC的存儲）能夠幫我們支撐10億左右的訪問量和10億級別的數據量。從最初的一臺普通的服務器到2008年幾千臺服務器加IOE解決方案，支撐了我們最初5年的發展。
但是到了2008年前后，我們有些問題就沒有人能夠找到現成的解決方案了。例如我們的商品圖片，一開始放在了本地硬盤上，2004年本地放不下了，買了NetApp公司推出的專業的NAS設備，隨著圖片數量的不斷增長，我們找NetApp公司買的設備越來越高級，到2007年的時候，我們發現他們最好的服務器已經賣給我們，沒有更好的了。但是用戶還是不停的要上傳圖片，怎么幫他們解決呢？
別人無法解決，并不代表這個事情無解，淘寶的技術就在這個時間點上面從使用別人的技術轉變成了自己創造技術，馬總說過“用錢能解決的問題都不是問題”，我們在2008年前后到了“用錢無法解決問題”的時代。幸運的是，我們解決這些問題并不是從頭做起的，我們并不是“開拓者”。國外的google、facebook他們都已經嘗試過自己解決技術上的問題，而且他們解決了之后，會把原理開放出來分享給大家（這是我們非常尊重這些企業的原因）。
于是，淘寶的技術牛人在此基礎上就嘗試著去做分布式存儲、數據庫、中間件、負載均衡這樣一套電子商務操作系統。之后，經過2009年至2012年期間一系列大型活動的洗禮，這套系統已經非常成熟。解決了原本用錢也解決不了的問題后，淘寶技術開始走向開放。這時候不僅僅是要把淘寶自己建設好，很多技術的探索成果我們也開源出去讓大家使用，來幫助我們的商家甚至競爭對手。從技術角度來講，淘寶對整個業界技術水平的提升有很大的推動作用。淘寶在這幾年間，也從一個技術不被談及的公司走向了技術型公司，影響力大大提高。
到了2012年雙十一之后，淘寶技術體系又將走向何方，其實是很難想象的一件事情。除了軟件、應用系統開發外，還有大數據相關的研究，用云計算技術來提升整個電商生態圈的信息化能力，系統底層的持續優化等等。我們現在可以利用淘寶的數據告訴商家現在流行什么，哪個地方的人喜歡買什么樣的商品，用大數據給他們的生產和銷售做信息支持；我們提供了一個名叫“聚石塔”的電商云工作平臺，讓商家把各種工作軟件部署進來，實時對接淘寶的數據接口，享受和淘寶一樣安全穩定的運行環境。這樣可以把很多線下手工操作的事情直接在線處理掉，有遠見的商家甚至已經開始利用云計算來整合自己的供應鏈系統了；我們還有人修改Linux內核，定制服務器硬件，開發智能的部署方案，讓系統運行更加綠色高效。未來主要是圍繞大數據、云計算和智能化這幾個方向發展了。
數據不會說謊
技術是為數據服務的，數據可以開發出去，外面的數據也可以回流回來。按照馬總的說法，我們現在變成了一個數據公司。
“大數據”的說法非常響亮，以至于現在誰提起大數據都感覺有些俗氣了。但是，大數據是很好的東西。
大數據為什么好？恰恰是因為它“大”。有個說法，最近10年人類所創造的數據占到人類有史以來所創造信息的90%。以前記載在紙上、竹片上，承載能力非常有限，現在都記錄在互聯網上，所以數據非常龐大。
數據大了之后，有了搜索引擎，也有個更多可能的出現。有一個很經典的案例，說是通過谷歌的搜索引擎可以預測什么地方有流感。怎么預測呢？一般發生流感的時候，會有很多人在谷歌搜索“流鼻涕怎么治”。此時，谷歌通過統計分析，便可以得出哪個地方搜索類似關鍵詞的人更多，判斷出此地發生流感的概率可能更高。這樣的反應速度比傳統的疫情機制反應速度要快很久。
還有一個好玩的例子，某景區從原先的免費開放改為收門票之后，雖然網上抗議聲一片，但他們官方還是宣稱他們的旅客數量在增長。我們知道的情況是什么樣的呢？利用淘寶旅行上的數據，我們很明顯看到該景區酒店的訂單量起碼下降了一半。有時候，人們擅長于對內調查，對外“創造”結果，可是數據永遠不會說謊。
現在淘寶會定期公布一個數據，叫TCPI，淘寶物價指數。之前，淘寶只有幾百萬用戶的時候，大家不敢做這個數據，即便你做了也沒人信。但是，基于現在的用戶數量，進行這個數據統計分析后，它很受重視，甚至有些政府部門也很重視。他們也看到了，我們依賴數據做出來的統計更加高效，而他們自己則需要動用大量的人力、物力，通過長時間的調查可能才能得出這樣一個結論，淘寶技術人員寫了個數據模型，把淘寶交易積累下幾十個T的數據放到服務器上運算，一個晚上就能分析出來了。這，就是大數據的威力。
對商家來說，商家隨時可以利用大數據指導商業生產，例如幫助商家做生產預測。打個比方，對“今年流行長裙，短裙還是熱褲？”的問題，每個人的看法可能不一樣。而淘寶幾億用戶購買行為的實時數據是開放的，商家通過淘寶指數對比一下，結果就出來了。一對比發現，其實今年長裙最受關注。這時候，商家拿這些數據給生產女裝的廠家，就可以做出這樣的決策：生產熱褲的生產線不要多投精力，趕緊做長裙。這就是用數據說話。在十年前，誰也拿不到這些數據，服裝的流行趨勢很多時候只能依賴時尚雜志。現在，不如看數據更直接，而能夠做到這一點，正是因為淘寶有比較大的用戶基礎，數據量大了之后，獲取的信息才是貼近真實的。因此，將這里面的信息整合起來，就可以看到最真實的情況。
2012年11月11日，191億元“奇跡”誕生前，正當許多買家正在享受購物狂歡時，突然一條這樣的提示信息出現在眼前：我們的系統檢測到您所在的網絡對淘寶網的訪問請求過于頻繁，很抱歉，現在暫時無法處理您的請求，請您過一段時間后再來訪問。“系統崩潰”以及“支付癱瘓”隨之被傳播。
殊不知道，這其實是故意的。因為我們要調控全局，所以進行了一部分限制。例如說，一瞬間買家的訪問流量實在太大了，原本我們準備了3個T，當到達2個T還在迅速增長的時候，我們判斷這有可能超出我們的承受能力范圍，因此，我們必須關掉一部分流量。如果不做限流，不讓一部分人先等等，可能會導致全盤系統的癱瘓。
這不是故障。淘寶技術經過了2009年至2012年這幾年時間的發展和升級后，早已具備了經受各種考驗的能力。
淘寶技術這十年
2008年以前、2008年至2012年、2012年以后，這是淘寶技術發展的三個重要時間節點。
2008年以前，淘寶的系統不論是技術難度還是架構難度都不是特別大，因為那個時候的流量、數據量，使用常用的技術手段就能解決。例如業界常用的解決方案IOE（IBM的小型機、Oracle的數據庫、EMC的存儲）能夠幫我們支撐10億左右的訪問量和10億級別的數據量。從最初的一臺普通的服務器到2008年幾千臺服務器加IOE解決方案，支撐了我們最初5年的發展。
但是到了2008年前后，我們有些問題就沒有人能夠找到現成的解決方案了。例如我們的商品圖片，一開始放在了本地硬盤上，2004年本地放不下了，買了NetApp公司推出的專業的NAS設備，隨著圖片數量的不斷增長，我們找NetApp公司買的設備越來越高級，到2007年的時候，我們發現他們最好的服務器已經賣給我們，沒有更好的了。但是用戶還是不停的要上傳圖片，怎么幫他們解決呢？
別人無法解決，并不代表這個事情無解，淘寶的技術就在這個時間點上面從使用別人的技術轉變成了自己創造技術，馬總說過“用錢能解決的問題都不是問題”，我們在2008年前后到了“用錢無法解決問題”的時代。幸運的是，我們解決這些問題并不是從頭做起的，我們并不是“開拓者”。國外的google、facebook他們都已經嘗試過自己解決技術上的問題，而且他們解決了之后，會把原理開放出來分享給大家（這是我們非常尊重這些企業的原因）。
于是，淘寶的技術牛人在此基礎上就嘗試著去做分布式存儲、數據庫、中間件、負載均衡這樣一套電子商務操作系統。之后，經過2009年至2012年期間一系列大型活動的洗禮，這套系統已經非常成熟。解決了原本用錢也解決不了的問題后，淘寶技術開始走向開放。這時候不僅僅是要把淘寶自己建設好，很多技術的探索成果我們也開源出去讓大家使用，來幫助我們的商家甚至競爭對手。從技術角度來講，淘寶對整個業界技術水平的提升有很大的推動作用。淘寶在這幾年間，也從一個技術不被談及的公司走向了技術型公司，影響力大大提高。
到了2012年雙十一之后，淘寶技術體系又將走向何方，其實是很難想象的一件事情。除了軟件、應用系統開發外，還有大數據相關的研究，用云計算技術來提升整個電商生態圈的信息化能力，系統底層的持續優化等等。我們現在可以利用淘寶的數據告訴商家現在流行什么，哪個地方的人喜歡買什么樣的商品，用大數據給他們的生產和銷售做信息支持；我們提供了一個名叫“聚石塔”的電商云工作平臺，讓商家把各種工作軟件部署進來，實時對接淘寶的數據接口，享受和淘寶一樣安全穩定的運行環境。這樣可以把很多線下手工操作的事情直接在線處理掉，有遠見的商家甚至已經開始利用云計算來整合自己的供應鏈系統了；我們還有人修改Linux內核，定制服務器硬件，開發智能的部署方案，讓系統運行更加綠色高效。未來主要是圍繞大數據、云計算和智能化這幾個方向發展了。
數據不會說謊
技術是為數據服務的，數據可以開發出去，外面的數據也可以回流回來。按照馬總的說法，我們現在變成了一個數據公司。
“大數據”的說法非常響亮，以至于現在誰提起大數據都感覺有些俗氣了。但是，大數據是很好的東西。
大數據為什么好？恰恰是因為它“大”。有個說法，最近10年人類所創造的數據占到人類有史以來所創造信息的90%。以前記載在紙上、竹片上，承載能力非常有限，現在都記錄在互聯網上，所以數據非常龐大。
數據大了之后，有了搜索引擎，也有個更多可能的出現。有一個很經典的案例，說是通過谷歌的搜索引擎可以預測什么地方有流感。怎么預測呢？一般發生流感的時候，會有很多人在谷歌搜索“流鼻涕怎么治”。此時，谷歌通過統計分析，便可以得出哪個地方搜索類似關鍵詞的人更多，判斷出此地發生流感的概率可能更高。這樣的反應速度比傳統的疫情機制反應速度要快很久。
還有一個好玩的例子，某景區從原先的免費開放改為收門票之后，雖然網上抗議聲一片，但他們官方還是宣稱他們的旅客數量在增長。我們知道的情況是什么樣的呢？利用淘寶旅行上的數據，我們很明顯看到該景區酒店的訂單量起碼下降了一半。有時候，人們擅長于對內調查，對外“創造”結果，可是數據永遠不會說謊。
現在淘寶會定期公布一個數據，叫TCPI，淘寶物價指數。之前，淘寶只有幾百萬用戶的時候，大家不敢做這個數據，即便你做了也沒人信。但是，基于現在的用戶數量，進行這個數據統計分析后，它很受重視，甚至有些政府部門也很重視。他們也看到了，我們依賴數據做出來的統計更加高效，而他們自己則需要動用大量的人力、物力，通過長時間的調查可能才能得出這樣一個結論，淘寶技術人員寫了個數據模型，把淘寶交易積累下幾十個T的數據放到服務器上運算，一個晚上就能分析出來了。這，就是大數據的威力。
對商家來說，商家隨時可以利用大數據指導商業生產，例如幫助商家做生產預測。打個比方，對“今年流行長裙，短裙還是熱褲？”的問題，每個人的看法可能不一樣。而淘寶幾億用戶購買行為的實時數據是開放的，商家通過淘寶指數對比一下，結果就出來了。一對比發現，其實今年長裙最受關注。這時候，商家拿這些數據給生產女裝的廠家，就可以做出這樣的決策：生產熱褲的生產線不要多投精力，趕緊做長裙。這就是用數據說話。在十年前，誰也拿不到這些數據，服裝的流行趨勢很多時候只能依賴時尚雜志。現在，不如看數據更直接，而能夠做到這一點，正是因為淘寶有比較大的用戶基礎，數據量大了之后，獲取的信息才是貼近真實的。因此，將這里面的信息整合起來，就可以看到最真實的情況。
訪問手機端更方便
技術創造價值 服務締造品牌
Copyright ? 2011-2024 鄭州開拓者電子科技有限公司 All Rights Reserved
友情鏈接：
小程序開發