Python語言近年來人氣爆棚。它廣泛應(yīng)用于網(wǎng)絡(luò)開發(fā)運(yùn)營，數(shù)據(jù)科學(xué)，網(wǎng)絡(luò)開發(fā)，以及網(wǎng)絡(luò)安全問題中。

然而，Python在速度上完全沒有優(yōu)勢可言。

在速度上，Java如何同C，C++，C#或者Python相比較?答案幾乎完全取決于要運(yùn)行的應(yīng)用。在這個(gè)問題上，沒有完美的評判標(biāo)準(zhǔn)，然而The Computer Language Benchmarks Game 是一個(gè)不錯(cuò)的方法。

鏈接：http://benchmarksgame.alioth.debian.org

基于我對The Computer Language Benchmarks Game超過十年的觀察，相比于Java，C#，Go，JavaScript， C++等，Python是最慢的語言之一。其中包括了 JIT (C#， Java) 和 AOT (C， C++)編譯器，以及解釋型語言，例如JavaScript。

動(dòng)態(tài)編譯：https://en.wikipedia.org/wiki/Just-in-time_compilation

靜態(tài)編譯：https://en.wikipedia.org/wiki/Ahead-of-time_compilation

注意：當(dāng)我提到“Python”時(shí)，我指的是CPython這個(gè)官方的解釋器。我也將在本文中提及其他的解釋器。

我想要回答這樣一個(gè)問題：當(dāng)運(yùn)行同一個(gè)程序時(shí)，為什么Python會(huì) 比其他語言慢2到10倍?為什么我們無法將它變得更快?

以下是最主要的原因：

• “它是GIL(Global Interpreter Lock全局解釋器鎖)”

• “它是解釋型語言而非編譯語言”

• “它是動(dòng)態(tài)類型語言”

那么以上哪種原因?qū)π阅苡绊懽畲竽?

“它是全局解釋器鎖”

現(xiàn)代計(jì)算機(jī)的CPU通常是多核的，并且有些擁有多個(gè)處理器。為了充分利用多余的處理能力，操作系統(tǒng)定義了一種低級(jí)的結(jié)構(gòu)叫做線程：一個(gè)進(jìn)程(例如Chrome瀏覽器)可以產(chǎn)生多個(gè)線程并且指導(dǎo)內(nèi)部系統(tǒng)。

如果一個(gè)進(jìn)程是CPU密集型，那么其負(fù)載可以被多核同時(shí)處理，從而有效提高大多數(shù)應(yīng)用的速度。

當(dāng)我寫這篇文章時(shí)，我的Chrome瀏覽器同時(shí)擁有44個(gè)線程。注意，基于POSIX(比如MacOS和Linux)和Windows操作系統(tǒng)相比，線程的結(jié)構(gòu)和API是不同的。操作系統(tǒng)也會(huì)處理線程的調(diào)度問題。

如果你之前沒有做過多線程編程，你需要快速熟悉鎖的概念。區(qū)別于單線程進(jìn)程，你需要確保當(dāng)內(nèi)存中的變量被修改時(shí)，多線程不會(huì)同時(shí)試圖訪問或者改變同一個(gè)存儲(chǔ)地址。

當(dāng)CPython創(chuàng)建變量時(shí)，它會(huì)預(yù)先分配存儲(chǔ)空間，然后計(jì)算當(dāng)前變量的引用數(shù)目。這個(gè)概念被稱為引用計(jì)數(shù)。如果引用計(jì)數(shù)為零，那么它將從系統(tǒng)中釋放對應(yīng)存儲(chǔ)區(qū)域。

這就是為什么在CPython中創(chuàng)造“臨時(shí)”變量不會(huì)使應(yīng)用占用大量的存儲(chǔ)空間——尤其是當(dāng)應(yīng)用中使用了for循環(huán)這一類可能大量創(chuàng)建“臨時(shí)”變量的結(jié)構(gòu)時(shí)。

當(dāng)存在多個(gè)線程調(diào)用變量時(shí)，CPython如何鎖住引用計(jì)數(shù)成為了一個(gè)挑戰(zhàn)。而“全局解釋鎖”應(yīng)運(yùn)而生，它能夠謹(jǐn)慎控制線程的執(zhí)行。無論有多少的線程，解釋器每次只能執(zhí)行一個(gè)操作。

這對Python的性能意味著什么呢?

如果你的應(yīng)用基于單線程、單解釋器，那么討論速度這一點(diǎn)就毫無意義，因?yàn)槿サ鬐IL并不會(huì)影響代碼性能。

如果你想使用線程在單解釋器(Python 進(jìn)程)中實(shí)現(xiàn)并發(fā)，并且你的線程為IO密集型(例如網(wǎng)絡(luò)IO或磁盤IO)，你就會(huì)看到GIL爭用的結(jié)果。

 

該圖來自David Beazley的GIL可視化

 

如果你有一個(gè)網(wǎng)絡(luò)應(yīng)用(例如Django)并且使用WSGI，那么每一個(gè)對于你的網(wǎng)絡(luò)應(yīng)用的請求將是一個(gè)獨(dú)立的Python解釋器，因此每個(gè)請求只有一個(gè)鎖。因?yàn)镻ython解釋器啟動(dòng)很慢，一些WSGI便集成了能夠使保持Python進(jìn)程的“守護(hù)進(jìn)程” 。

那么其他Python解釋器的速度又如何呢?

PyPy擁有GIL，通常比CPython快至少三倍。

Jython沒有GIL，因?yàn)樵贘ython中Python線程是用Java線程表示的，這得益于JVM內(nèi)存管理系統(tǒng)。

JavaScript是如何做到這一點(diǎn)的呢?

首先，所有的Javascript引擎使用標(biāo)記加清除的垃圾收集系統(tǒng)，而之前提到GIL的基本訴求是CPython的存儲(chǔ)管理算法。

JavaScript沒有GIL，但因?yàn)樗�是單線程的，所以也并不需要GIL。

JavaScript通過事件循環(huán)和承諾/回調(diào)模式來實(shí)現(xiàn)異步編程的并發(fā)。Python有與異步事件循環(huán)相似的過程。

“因?yàn)樗�是解釋型語言”

我經(jīng)常聽到這句話。我覺得這只是對于CPython實(shí)際運(yùn)行方式的一種簡單解釋。如果你在終端中輸入python myscript.py，那么CPython將對這段代碼開始一系列的讀取，詞法分析，解析，編譯，解釋和運(yùn)行。

這個(gè)過程中的重要步驟是在編譯階段創(chuàng)建一個(gè).pyc 文件，這個(gè)字節(jié)碼序列將被寫入Python3下__pycache__/ 路徑中的一個(gè)文件(對于Python2，文件路徑相同)。這個(gè)步驟不僅僅應(yīng)用于腳本文件，也應(yīng)用于所有導(dǎo)入的代碼，包括第三方模塊。

所以大多時(shí)候(除非你寫的代碼只運(yùn)行一次)，Python是在解釋字節(jié)碼并且本地執(zhí)行。下面我們將Java和C#.NET相比較：

Java編譯成一門“中間語言”，然后Java虛擬機(jī)讀取字節(jié)代碼并即時(shí)編譯為機(jī)器代碼。.NET的通用中間語言(CIL)是一樣的，它的通用語言運(yùn)行時(shí)間(CLR)也采用即時(shí)編譯的方法轉(zhuǎn)化為機(jī)器代碼。

那么，如果Python用的是和Java和C#一樣的虛擬機(jī)和某種字節(jié)代碼，為什么在基準(zhǔn)測試中它卻慢得多?首先，.NET和Java是采用JIT編譯的。

JIT，又稱即時(shí)編譯，需要一種中間語言來把代碼進(jìn)行分塊(或者叫數(shù)據(jù)幀)。預(yù)編譯(AOT, Ahead of Time)器的設(shè)計(jì)保證了CPU能夠在交互之前理解代碼中的每一行。

JIT本身不會(huì)使執(zhí)行速度更快，因?yàn)樗�仍然�?zhí)行相同的字節(jié)碼序列。但是，JIT允許在運(yùn)行時(shí)進(jìn)行優(yōu)化。好的JIT優(yōu)化器可以檢測哪些部分執(zhí)行次數(shù)比較多，這些部分被稱為“熱點(diǎn)”。然后，它將用更高效的代碼替換它們，完成優(yōu)化。

這就意味著當(dāng)計(jì)算機(jī)應(yīng)用程序需要重復(fù)做一件事情的時(shí)候，它就會(huì)更加地快。另外，我們要知道Java和C#是強(qiáng)類型語言(變量需要預(yù)定義)，因此優(yōu)化器可以對代碼做更多的假設(shè)。

PyPy使用即時(shí)編譯器，并且前文也有提到它比CPython更快。這篇關(guān)于基準(zhǔn)測試的文章介紹得更為詳細(xì)——什么版本的Python最快?

鏈接：https://hackernoon.com/which-is-the-fastest-version-of-python-2ae7c61a6b2b

那么，為什么CPython不使用即時(shí)編譯器呢?

JIT存在一些缺點(diǎn)：其中一個(gè)是啟動(dòng)時(shí)間。CPython啟動(dòng)時(shí)間已經(jīng)相對較慢，PyPy比CPython還要慢2-3倍。眾所周知，Java虛擬機(jī)的啟動(dòng)速度很慢。為了解決這個(gè)問題，.NET CLR在系統(tǒng)啟動(dòng)的時(shí)候就開始運(yùn)行，但CLR的開發(fā)人員還開發(fā)了專門運(yùn)行CLR的操作系統(tǒng)來加快它。

如果你有一個(gè)運(yùn)行時(shí)間很長的Python進(jìn)程，并且其代碼可以被優(yōu)化(因?yàn)樗�包含前文所述�?ldquo;熱點(diǎn)”)，那么JIT就能夠起到很大作用。

但是，CPython適用于各類應(yīng)用。因此，如果你使用Python開發(fā)命令行應(yīng)用程序，每次調(diào)用CLI時(shí)都必須等待JIT啟動(dòng)，這將非常緩慢。

CPython必須盡量多地嘗試不同的案例以保證通用性，而把JIT插入到CPython中可能會(huì)讓這個(gè)項(xiàng)目停滯不前。

如果你想要借助JIT的力量，而且你的工作量還比較大，那么使用PyPy吧。

“因?yàn)樗�是一個(gè)動(dòng)態(tài)類型語言”

在靜態(tài)類型語言中，定義變量時(shí)必須聲明類型。C, C++, Java, C#, Go都是這種語言。

在動(dòng)態(tài)類型語言中，類型的概念依舊存在，但是這個(gè)變量的類型是動(dòng)態(tài)變化的。

a = 1a = "foo"

在上面這個(gè)例子中，Python創(chuàng)建第二個(gè)變量的時(shí)候用了同樣的名字，但是變量類型是str(字符型)，這樣就對先前在內(nèi)存中給a分配的空間進(jìn)行了釋放和再分配。

靜態(tài)類型語言的這種設(shè)計(jì)并不是為了麻煩大家——它們是按照CPU的運(yùn)行方式設(shè)計(jì)的。如果最終需要將所有內(nèi)容都轉(zhuǎn)化為簡單的二進(jìn)制操作，那就必須將對象和類型轉(zhuǎn)換為低級(jí)數(shù)據(jù)結(jié)構(gòu)。

Python自動(dòng)完成了這個(gè)過程，我們看不見，也沒必要看見。

不必聲明類型不是使Python變慢的原因。Python語言的設(shè)計(jì)使我們幾乎可以創(chuàng)建任何動(dòng)態(tài)變量。我們可以在運(yùn)行時(shí)替換對象中的方法，也可以胡亂地把低級(jí)系統(tǒng)調(diào)用賦給一個(gè)值。幾乎怎么修改都可以。

正是這種設(shè)計(jì)使得優(yōu)化Python變得異常困難。

為了闡明我的觀點(diǎn)，我將使用一個(gè)MacOS中的應(yīng)用。它是一個(gè)名為Dtrace的系統(tǒng)調(diào)用跟蹤工具。CPython發(fā)行版沒有內(nèi)置DTrace，因此你必須重新編譯CPython。以下演示中使用3.6.6版本。

wget https://github.com/python/cpython/archive/v3.6.6.zipunzip v3.6.6.zipcd v3.6.6./configure --with-dtracemake

現(xiàn)在python.exe將在整條代碼中使用Dtrace跟蹤器。Paul Ross就Dtrace做了一篇很棒的短演講。 你可以下載Python的DTrace啟動(dòng)文件來測試函數(shù)調(diào)用、執(zhí)行時(shí)間、CPU時(shí)間、系統(tǒng)調(diào)用等各種有意思的事情。例如：

sudo dtrace -s toolkit/.d -c ‘../cpython/python.exe script.py’

DTrace啟動(dòng)文件：https://github.com/paulross/dtrace-py/tree/master/toolkit

演講鏈接：https://github.com/paulross/dtrace-py#the-lightning-talk

py_callflow跟蹤器顯示應(yīng)用程序中的所有函數(shù)調(diào)用

 

 

因此，是Python的動(dòng)態(tài)類型讓它變慢的嗎?

比較和轉(zhuǎn)換類型是耗時(shí)的，因?yàn)槊看巫x取、寫入變量或引用變量類型時(shí)都會(huì)進(jìn)行檢查

很難優(yōu)化一種如此動(dòng)態(tài)的語言。其他語言之所以那么快是因?yàn)樗麄儬奚�了一定的靈活性，從而提高了性能。

了解一下Cython，它結(jié)合了C-Static類型和Python來優(yōu)化已知類型的代碼，可以提供84倍速度的性能提升。

結(jié)論

Python的緩慢主要是由于它動(dòng)態(tài)和多用途的特點(diǎn)。它可以用于解決幾乎所有問題，但是更加優(yōu)化而快捷的替代方案可能存在。

但是，有一些方法可以通過利用異步計(jì)算，理解分析工具，以及考慮使用多個(gè)解釋器來優(yōu)化Python應(yīng)用程序。

對于有些啟動(dòng)時(shí)間相對不重要，并且即時(shí)編譯器(JIT)可以提高效率的應(yīng)用，可以考慮使用PyPy。

對于性能優(yōu)先并且有更多靜態(tài)變量的代碼部分，請考慮使用Cython。

相關(guān)報(bào)道：

https://hackernoon.com/why-is-python-so-slow-e5074b6fe55b

標(biāo)簽： b2b linux 安全 代碼 腳本 網(wǎng)絡(luò) 網(wǎng)絡(luò)安全 網(wǎng)絡(luò)安全問題

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請與原作者聯(lián)系。