天天看點

python新技術

  1. asyncpg
    asyncpg -- A fast PostgreSQL Database Client Library for Python/asyncio
    這是除了psycopg2和aiopg以外的posgtres驅動,asyncpg 平均至少比 psycopg2(或 aiopg)快 3 倍,也比 node.js 和 Go 實作更快,并且支援直接執行SQL/滾動遊标/結果集部分疊代等特性。
               
  2. bokeh

    Python 可視化的庫最流行的就是 matplotlib 和 seaborn。然而,Bokeh 被創造用來做互動可視化(interactive visualization),并且面向現代的網頁浏覽展示。Bokeh可以讓你探索來自網頁浏覽器資料。而且它緊密融合了 Juptyer Notebooks,和可選的伺服器元件 bokeh-server,其帶有許多強大的功能,比如在伺服器端對大型資料集進行下采樣、流傳輸資料、變換等。連結:http://bokeh.pydata.org/en/latest/docs/gallery.html。

  3. tplmap

    tplmap是一款自動檢測和發掘伺服器端模闆注入漏洞的工具。支援測試Mako, Jinja2, Jade, Smarty, Freemarker, Velocity, 和Twig。

  4. docsbox         這是用Flask寫的一個比較好的檔案類型轉換服務.也支援docker。
               
  5. blaze
    有時候,當你對資料集運作分析時,卻發現資料集過大,無法一次塞進計算機 RAM 中。如果你無法依賴 numpy 或 Pandas,你通常需要轉而使用其他的工具,如 PostgreSQL、MongoDB、Hadoop、Spark 等等。這些工具都有其自身的優缺點,依照任務的特點,總有一種工具是适合你的。但決定轉換工具是一項巨大的工程,因為你需要了解這些系統如何工作,以及如何以正确的形式插入資料。
    
    Blaze 提供了一個統一的接口,讓使用者無需學習所有資料庫技術。Blaze 庫的核心是一種計算表達方式。Blaze 本身不會進行任何計算:它隻是知道如何指定一個特定的後端,決定誰來執行任務。Blaze 還有其它很多功能(它形成了一個生态系統),它作為一個庫被開發出來。例如,Dask 實作了一個可用于 NumPy 數組的插件,可以處理大于記憶體的内容和利用多核處理器,并且還具有動态任務排程能力。
    
    連結:https://blaze.readthedocs.io/en/latest/index.html
               
  6. daleroberts/tv
  7. coffer
    建立網絡上不隔絕的開發環境.讓開發人員搭建相似的開發環境變得容易,但是最好不要用在生産環境中.
               
  8. Sanic + uvloop
    誰說 Python 不能很快?Sanic 不僅有可能是有史以來最好的軟體庫名字,也可能是有史以來最快的 Python 網頁架構,而且似乎也遠遠超過其它架構。它是一個專為速度而設計的類 Flask 的 Python 3.5+ 網頁伺服器。另一個庫 uvloop 是一個用于 asyncio 的事件循環(event loop,其底層使用了 libuv)的超快速的插件替代。這兩個加起來就是一個強大的組合!
    
    根據 Sanic 的作者的基準測試,uvloop 可以驅動 Sanic 每秒處理超過 3.3 萬條請求,這實在太強了!(比 node.js 還快)。你的代碼可以受益于這種新的 async/await 文法——它們會看起來很整潔;此外我們也喜歡 Flask 風格的 API。你一定要試試 Sanic,而且如果你也在使用 asyncio,你也可以無需太多修改你的代碼就能受益于 uvloop。
    
    連結:Sanic: https://github.com/channelcat/sanic
               
  9. csv-sql
    對于二維資料CSV檔案來說,可以用sql語句來查詢了,此代碼其實也可以用于類似的資料。(位址https://github.com/jackeyGao/csvSQL/)
               
  10. chopsticks
    chopsticks對标的項目是fabric和ansible.不同的是,它不是把指令最終發給bash,而是讓你在一個類似Python終端的環境中操作.它也支援Docker。