Showing posts with label jupyter. Show all posts
Showing posts with label jupyter. Show all posts

Thursday, May 27, 2021

Jupyter有兩種:Jupyter Note和JupyterLab

         Jupyter 是python最通用的IDE之一。配置簡單、容易測試、網頁介面等,都是Jupyter的優點。一般在說Jupyter時,其實說的是Jupyter Notebook,Jupyter有兩個產品:Jupyter Notebook和JupyterLab。Jupyter Notebook大部分人都很熟悉,這裡要介紹的是JupyterLab。

         



      

        在打開Anaconda的時候,我們可以看到有Jupyter Notebook和JupyterLab。JupyterLab的安裝環境和配置都和Jupyter Notebook一樣,使用方法也一樣,因此可以無痛轉換。 

        我自己原本也是用Jupyter Notebook好幾年了,但一換到JupyterLab後就真的回不去了。我個人推薦JupyterLab取代Jupyter Notebook的理由如下:

  • 頁面整合
  • 支持插件

        先說說第一點:同一個頁流覽器面開啟多個Jupyter頁面。開發過程中經常會多段代碼同時推進,在Jupyter Notebook上就得開多個流覽器,如果你是使用chrome,那對佔用相當龐大的記憶體。另外,雖然chrome可以分組管理頁面,但你還得開檔編輯器、檔案管理器。整個視窗是相當混亂的。

        關於視窗管理,Jupyter Notebook是單一頁面管理,對頁面空白處的使用是比較沒效率,你想同時管理檔案時,又得跳出頁面。JupyterLab可以同時開啟多個視窗,也可以暫時關閉管理視窗延長代碼視窗

        第二點是可以安裝插件,這一點讓JupterLab有了無限的擴充性。我個人目前最依賴的是csv編輯器。你可以在server上使用vi、vim編輯檔,但遇到編輯csv時就得等跳出平臺使用其他編輯器。如果是使用Excel,csv開檔存檔都會面臨格式問題,使用文字編輯器又有欄位分隔問題,JupyterLab上的csv編輯器完美解決了這個需求。


  


Friday, January 8, 2021

Python量化交易筆記(1)--建設隨時隨地寫Python的環境

         從2020年年中開始,我幾年沒動的股票又開始交易了起來,那時候面臨一個問題:我跟蹤了很多股票,但往往幾天沒注意到幾隻股票,這幾支股票就發射升空了。那時候在想,有沒有辦法透過Python,每天找出符合一些條件的票?這個想法慢慢推進到現在,陸續遇到一些問題,也找到一些解決方法。隨著慢慢有一些成果出來,也把這半年內遇到的問題和解決方法做個整理記錄。

         這其中幾個最大的問題有兩個:開發平台的建立與消息推送。今天這篇先聊聊開發平台的的建立。

         如果你只在公司內幫公司寫代碼,那麼工作時間、軟硬體條件都不會是問題,這篇其實你也可以跳過了。但如果你自己私人平常有其他開發目標,那麼環境建置就是一個很大的挑戰,也是你遲早必須解決的問題。

         寫代碼往往受限於環境,你得在家裡、在公司,用著已經配置好的電腦。不然一台新電腦光配置編寫環境,就夠耗上你好幾個小時了。另外新電腦上面也不會有你之前已寫好的代碼,要引用一些配置,或是看看之前自己的代碼是怎麼寫的,都是相當困難的。如果你自己私人也有寫一些代碼。但是你在公司忽然想編輯,理論上也是不太可行的。你也不可能隨時帶著一台性能超強的筆電,電源、重量、大小都夠你累的了。另外有些代碼是需要跑後台或是長時間運算,當你要出門離開或是下班的時候,你就得停下來或是隔一段時間才能修改,對開發時間來說,都是不小的耽擱。

         有沒有可能自己建一個jupyter平台,任何時間任何地點,外部任何一台電腦都能連上。這樣一方面能隨時隨地保存、呼叫自己寫的代碼 ,也不用去解決環境設置的問題?這篇整理了這幾個月我遇到的情況和幾個解決方案,這幾個解決方案在成本、算力、建置複雜性上,都有顯著的差異:

  • AWS

         AWS是Amazon提供的雲端服務。你可以在網路上找到相當多AWS架設Jupyter的教學,他是所有解決方案中,少數幾個提供免費的解決方案,Colab雖然也免費,但整體環境沒有AWS完整。

         如果你平常是在linux上開發,那麼你對aws的環境會相當熟悉。


         AWS的缺點也很明顯,就是貴!!免費版本EC2跑得比我的筆電還慢,如果不是商業用途,交錢真的會花到心在淌血。我發現EC2另一個問題是service會忽然被關掉,就算我只是幾分鐘沒用就被踢掉了,可能是我沒交錢,可能是設置問題,我沒去探討原因,畢竟那不重要了。因此我在嘗試一個禮拜的AWS後,我就放棄AWS了。

  • NAS Docker
         如果你自己有NAS,不妨可以可以在裝個Jupyter的Docker。NAS的好處,除了可以利用平常沒在運轉的NAS之外,最大的好處是NAS的DDNS可以讓你實現內網穿透。當你的主機使用內部網域的虛擬ip架設Jupyter時,便可以從外部訪問你的主機。
         原本我以為可以在我家裡的NAS上架設Jupyter時,我發現一個最致命的問題:我的NAS是DS216 play,是不支援Docker的。網路上有一些關於在DS216 Play安裝Docker的教學。一方面我覺得太複雜了,二方面這麼低階又這麼老的NAS耗了這麼大的力氣,跑起來也會很糟。因為我又放棄了。

  • 內網穿透
         我目前使用的解決方案是內網穿透,家裡的電腦啟動Jupyter後,開啟內網穿透應用程式就完成了。由於外網端口和域名都可以自定義,因此也很容易記憶。以下面這個例子來說,外面任何一台電腦或是手機,連上 http://jupyter.nat123.fun:7777  就能連回家裡的jupyter,環境是和在家使用jupyter完全相同的。

         我買兩年送一年1M的方案大概是NTD700左右,除了安裝簡單之外,在成本、效能、方便性、安全性、穩定性、彈性上都算是非常超值的 。
         談完了開發環境的架設,接下來的問題是當你主機持續在運行中輸出的結果,能隨時隨地通知到你。下一篇再來談談如何將python輸出的消息,推送到你的手機。