天天看點

阿裡巴巴開源技術彙總:115個軟體(三)

weex是阿裡近日在qcon大會上宣布開源的一款跨平台移動開發工具。weex不僅能夠完美兼顧性能與動态性,讓移動開發者通過簡捷的前端文法寫出native級别的性能體驗,而且并支援ios、安卓、yunos及web等多端部署。

阿裡巴巴開源技術彙總:115個軟體(三)

【項目簡介】

apns4j 是 apple push notification service 的 java 實作,目前1.0.1版已經釋出。

bugfree 是一款借鑒微軟公司軟體研發理念、免費且開放源代碼、基于web的精簡版bug管理系統。bugfree基于php和mysql開發,其伺服器端在linux和windows平台上都可以運作;用戶端也無需安裝任何軟體,通過ie,firefox等浏覽器就可以自由使用。使用這款軟體,企業可以保證品質、控制進度,并使産品可持續發展。

阿裡巴巴開源技術彙總:115個軟體(三)

tddl(taobao distributed data layer),是淘寶根據自己的業務特點開發了架構,主要解決了分庫分表對應用的透明化以及異構資料庫之間的資料複制,它是一個基于集中式配置的 jdbc datasource實作,具有主備,讀寫分離,動态資料庫配置等功能。它具有以下優點:

1.資料庫主備和動态切換2.帶權重的讀寫分離3.單線程讀重試4.集中式資料源資訊管理和動态變更5.剝離的穩定jboss資料源6.支援mysql和oracle資料庫7.基于jdbc規範,很容易擴充支援實作jdbc規範的資料源8.無server,client-jar形式存在,應用直連資料庫9.讀寫次數,并發度流程控制,動态變更10.可分析的日志列印,日志流控,動态變更。

阿裡巴巴開源技術彙總:115個軟體(三)

phpwind是阿裡開發的一套論壇系統。它采用 php+mysql 資料庫,運作并可生成 html 頁面的全新且完善的強大系統。它具有網站統籌化、技術專業化、友好人性化三大特點,出色的通路速度和卓越的負載能力更令它深受國内外朋友的喜愛。

tfs(taobao filesystem)是一個高可擴充、高可用、高性能、面向網際網路服務的分布式檔案系統,其設計目标是支援海量的非結構化資料。目前,國内自主研發的檔案系統可謂鳳毛麟角。淘寶在這一領域做了有效的探索和實踐,taobao file system(tfs)作為淘寶内部使用的分布式檔案系統,針對海量小檔案的随機讀寫通路性能做了特殊優化,承載着淘寶主站所有圖檔、商品描述等資料存儲。

阿裡巴巴開源技術彙總:115個軟體(三)

webx是建立在java servlet api基礎上的通用web架構。用webx搭建的應用可以運作在任何一個标準的web應用伺服器上面:tomcat、jetty、jboss、weblogic。 webx是基于經典mvc設計模式的web架構spring,并且可以被其它元件擴充。webx不僅能夠用來開發高度可定制的web應用,也能夠用來幫助使用者開發高度可擴充的非web的應用。目前webx在阿裡巴巴集團内部被廣泛使用。

阿裡巴巴開源技術彙總:115個軟體(三)

fourinone(中文名字“四不像”)是一個四合一分布式計算架構。它提供了四合一的分布式架構功能(即整合了hadoop、zookeeper、mq、分布式緩存的主要功能)和簡單易用的程式設計api,進而實作了對多台計算機cpu、記憶體、硬碟的統一利用,最終擷取到強大計算能力去解決複雜問題。

阿裡巴巴開源技術彙總:115個軟體(三)

uploader是一個非常強大的異步檔案上傳元件,支援ajax、iframe、flash三套方案,實作浏覽器的全相容,調用非常簡單,内置多套主題支援 和常用插件,比如驗證、圖檔預覽、進度條等,廣泛應用于淘寶網,比如退款系統、愛逛街、二手、拍賣、我的淘寶、賣家中心、導購中心等。

阿裡巴巴開源技術彙總:115個軟體(三)

datax 是阿裡巴巴集團内被廣泛使用的離線資料同步工具/平台,實作包括 mysql、oracle、hdfs、hive、oceanbase、hbase、ots、odps 等各種異構資料源之間高效的資料同步功能。目前datax在淘寶内部每天約有5000道同步任務分布在全天各個時段,平均每天同步資料量在2-3tb。

阿裡巴巴開源技術彙總:115個軟體(三)

httpsender是一款輕量級的http壓力測試工具,由淘寶的測試工程師用java語言開發完成。它可以指定并發連接配接數發送指定數目的請求,還可以自定義請求的header頭。請求的url支援通過正規表達式指定範圍,同時也支援從檔案随機或順序讀取。它還具備驗證資料是否完整和錯亂等較進階的功能。預設應用環境為linux。

cobarclient是一個基于ibatis和spring的輕量級分布式資料通路架構(ddal)。它具有一些特點:主要特性:

①可以支援垂直和水準資料切分資料庫叢集的通路;

②支援雙機熱備的ha解決方案, 應用方可以根據情況選用資料庫特定的ha解決方案(比如oracle的rac),或者選用cobarclient提供的ha解決方案.

③小資料量的資料集計(aggregation), 暫時隻支援簡單的資料合并.

④資料庫本地事務的支援, 目前采用best efforts 1pc模式的事務管理.

⑤資料通路操作相關sql的記錄, 分析等.(可以采用國際站現有ark解決方案,但cobarclient提供擴充的切入接口)

阿裡巴巴開源技術彙總:115個軟體(三)

f2etest是一個面向前端、測試、産品等崗位的多浏覽器相容性測試整體解決方案。通過在項目中采用開源的html5遠端解決方案guacamole、server版windows和跨浏覽器、跨伺服器的hosts共享技術hostsshare,f2etest最終實作了以下的功能:

①硬體使用率提高10倍以上,降低了企業營運成本

②提供極佳的使用者體驗,因而提高了測試效率

③提供真實浏覽器環境,還原真實測試場景

阿裡巴巴開源技術彙總:115個軟體(三)

aliredis是阿裡團隊針對redis日常維護中出現的不足而在redis原有基礎上做出的深度改進。具體而言,aliredis采用多線程master + n*work 工作模式,并且抛棄save, bgsave, aof等三種原有的模式.采用redisdb lock模式,除此之外,它還優化了jemalloc, 采用大記憶體頁。

阿裡巴巴開源技術彙總:115個軟體(三)

canal是純java開發的資料異地同步工具。它能夠提供的基于日志增量訂閱和消費支援的業務有:

①資料庫鏡像

②資料庫實時備份

③多級索引 (賣家和買家各自分庫索引)

④search build

⑤業務cache重新整理

⑥價格變化等重要業務消息

目前canal主要支援了mysql。

阿裡巴巴開源技術彙總:115個軟體(三)

taocode(淘蝌蚪)是淘寶網推出的開源平台。它具有平台化和社群化兩個特征。

1).平台化

a) 完善項目管理過程工具平台

b) 提供更多代碼級工具

c) 提供更多文檔化工具

2).社群化

a). 提供更好的交流平台

b). 增加更多的持續性生态化平台功能

阿裡巴巴開源技術彙總:115個軟體(三)

storm 是一個類似hadoop mapreduce的系統。如果使用者按照指定的接口實作一個任務,然後将這個任務遞交給jstorm系統,jstorm将這個任務跑起來,并且按7 * 24小時運作起來,一旦中間一個worker 發生意外故障, 排程器立即配置設定一個新的worker替換這個失效的worker。是以,從應用的角度,jstorm 應用是一種遵守某種程式設計規範的分布式應用。從系統角度, jstorm一套類似mapreduce的排程系統。 從資料的角度, 是一套基于流水線的消息處理機制。

阿裡巴巴開源技術彙總:115個軟體(三)

athrun以mobile自動化為基礎,以pc2mobile為切入點,是淘寶mobile測試日常工作必備的平台。目前athrun支援:

①android上的自動化測試,包括自動化測試架構,持續內建體系。覆寫率工具和自動錄制回放工具,也在試用完善中。

②ios上的自動化測試,包括注入式自動化架構appframework,和基于錄制的非注入式自動化架構athrun_ios,還有持續內建體系。目前兩個架構在淘寶測試内都有使用者群,都還在不斷使用和演進過程中。appframework将會支援socket通信方式。

cobar是提供關系型資料庫(mysql)分布式服務的中間件,它可以讓傳統的資料庫得到良好的線性擴充,并看上去還是一個資料庫,對應用保持透明。自cobar實際投入運用以來,它接管了3000+個mysql資料庫的schema,叢集日處理線上sql請求50億次以上。

叢集日處理線上資料流量tb級别以上,并且到目前為止,該産品在阿裡巴巴穩定運作3年以上。

阿裡巴巴開源技術彙總:115個軟體(三)

taolinux是淘寶團隊基于淘寶多年伺服器優化積累, 核心優化經驗對linux做出的改版。它預設安裝tengine等服務 沒有gui界面 基于rhel 6.2。

<a href="https://yq.aliyun.com/articles/48972">阿裡巴巴開源技術彙總:115個軟體(一)</a>

<a href="https://yq.aliyun.com/articles/53900">阿裡巴巴開源技術彙總:115個軟體(二)</a>

<a href="https://yq.aliyun.com/articles/53994">阿裡巴巴開源技術彙總:115個軟體(三)</a>

<a href="https://yq.aliyun.com/articles/53995">阿裡巴巴開源技術彙總:115個軟體(四)</a>

<a href="https://yq.aliyun.com/articles/53997">阿裡巴巴開源技術彙總:115個軟體(五)</a>

<a href="https://yq.aliyun.com/articles/54011">阿裡巴巴開源技術彙總:115個軟體(六)</a>

【雲栖社群】:對于開源的内容選題,我們也有最新的規劃。歡迎對阿裡技術開源感興趣的社群/社群、媒體夥伴和技術開發者,聯系社群,一起打造。有意者,可郵件:[email protected] ,郵件主題标注:開源選題策劃