Python中這樣操作url也太讚了吧

--

大家好,在諸如網路爬蟲、web應用開發等場景中,我們需要利用Python完成大量的url解析、生成等操作。

而在Python生態中,無論是使用諸如urllib之類的標準庫,還是各種第三方庫,可以用來有效處理url的方法都非常之豐富。而今天我要給大家介紹的url處理庫,則是我在實際使用中綜合考慮簡單易用性與運算速度後,最為滿意的!

在Python中利用yarl高效處理url

這個可以用來高效便捷處理url的第三方庫叫做yarl,使用pip install yarl完成安裝後,下面我們來快速學習其主要的一些功能方法:

1.1 利用yarl解析url資訊

基於yarl中的URL(),我們可以從任意合法的url中解析出下圖所示的各個構成部分:

先來看一個簡單的例子,其中對我保管每一篇部落格文章附件的github倉庫路徑url進行解析:

from yarl import URL

url = URL('https://github.com/CNFeffery/DataScienceStudyNotes/tree/master/%E5%8E%86%E5%8F%B2%E6%96%87%E7%AB%A0%E9%99%84%E4%BB%B6%E5%88%97%E8%A1%A8')

原始的網址由於包含了中文等非ASCII字元,所以貼上到程式碼中後變成了url編碼後的樣子,直接呼叫human_repr()方法即可進行解碼還原:

而透過獲取對應url各部分名稱的屬性,即可分別提取出相應資訊:

其中埠資訊是基於scheme資訊按照常規情況進行推斷的,http即為80https即為443,若需要獲取url中顯式出現的埠資訊,可以使用explicit_port

針對url中的hash標籤資訊則可以透過fragment取得:

若要解析的url中包含query引數資訊,則可以直接呼叫query得到MultiDict型別的返回結果,這是種特殊的字典型別,它允許存在重複的鍵,對於不存在重複的鍵值對,可以像普通字典那樣索引值,「否則」則需要透過getall()方法來返回所傳入鍵對應的所有值列表:

可以感受到透過yarl解析url非常的方便~

1.2 利用yarl構造url

當我們需要基於已有的各部分資訊構造url時,yarl就更加方便了,基礎的方式是基於URL.build()方法,以函式傳參的方式定義url

而如果你已經有了具體存在的yarl.URL物件,想在此基礎上進行其他部分內容的設定,則可以使用一系列名稱格式為with_xxx()的方法,其中xxx就對應著各個部分的名稱:

特別地,針對查詢引數部分,還專門有update_query()方法進行引數追加,它與with_query()的區別可以從下面的例子中體會到:

1.3 利用/、%運算子快捷合成url

yarl中,針對/%運算子進行了重寫,以支援類似下面例子的快捷操作,非常的方便:

除了上面介紹的yarl常用功能以外,還有譬如利用is_absolute()方法判斷url是否為絕對路徑等其他實用功能,感興趣的讀者朋友們可以前往官方文件瞭解更多(https://yarl.aio-libs.org/en/latest/index.html)。

以上就是本文的全部內容~

文章來源於:費弗裡 Python大資料分析

文章連結:https://mp.weixin.qq.com/s/BDgGRpyeN-YtpmIb-Ts6CQ

※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※

我是「數據分析那些事」。常年分享數據分析乾貨,不定期分享好用的職場技能工具。各位也可以關注我的Facebook,按讚我的臉書並私訊「10」,送你十週入門數據分析電子書唷!期待你與我互動起來~

文章推薦

餅圖變形記,肝了3000字,收藏就是學會!

MySQL必須掌握4種語言!

太實用了!4種方法教你輕鬆製作互動式儀表板!

跟資料打交道的人都得會的這8種資料模型,滿足工作中95%的需求

妙呀!一行Python程式碼

--

--

數據分析那些事
數據分析那些事

Written by 數據分析那些事

這是一個專注於數據分析職場的內容部落格,聚焦一批數據分析愛好者,在這裡,我會分享數據分析相關知識點推送、(工具/書籍)等推薦、職場心得、熱點資訊剖析以及資源大盤點,希望同樣熱愛數據的我們一同進步! 臉書會有更多互動喔:https://www.facebook.com/shujvfenxi/

No responses yet