利用Selenium批量下载100首网易云热歌榜音乐

本文转载自微信公众号「菜J学Python」，利用乐作者游世九黎。批量转载本文请联系菜J学Python公众号。下载

今天的首网小demo我们使用的是selenium和xpath.函数式编程采集数据.采集到的数据如图所示。高防服务器

01需求数据

网易云音乐新歌榜数据100首歌曲。热歌

02页面分析

首先这个页面通过reuqests方法是榜音无法获取页面数据的,所以我们这里使用selenium,xpath方法解析数据。

这个table标签装了100首歌曲数据,利用乐但是这个页面是嵌在iframe标签中的亿华云计算,所以需要定位iframe标签,获取到里面的的内容。

url = "https://music.163.com/#/discover/toplist?批量id=3779629" # 新歌榜 driver = webdriver.Chrome() driver.get(url) time.sleep(3) _iframe = driver.find_element_by_id(g_iframe) # 找到iframe标签 driver.switch_to.frame(_iframe) time.sleep(1) page_text = driver.execute_script("return document.documentElement.outerHTML") 

03解析数据

得到了iframe中的元素page_text,我们使用xpath。

html = etree.HTML(page_text) trs = html.xpath(//tr) id_list = [] song_name_list = [] singer_list = [] for tr in trs[1:]:     id = tr.xpath("./td[2]/div[1]/div[1]/span/@data-res-id")[0][-10:] #      id_list.append(id)     song_name = tr.xpath("./td[2]/div/div/div/span/a/b/@title")[0]     song_name_list.append(song_name)     print(id,下载"----",song_name) 

04保存数据

base_url = http://music.163.com/song/media/outer/url?id={ }.mp3 try:     for index,id in enumerate(id_list):         if index == 25: # 因为这个26首歌曲名非正常字符,要排除,否则报错             continue         file_name = song_name_list[index]         resp = requests.get(base_url.format(id))         with open(rHotMusic/+ file_name + .mp3,wb) as f:             f.write(resp.content)             print(歌曲:%s下载成功 % file_name) except Exception as error:     print(error) 

05运行程序