快速有效检索网页数据的“懈怠”程序员指南

网页抓取或许是一个相当简单的编程问题：在文档的源代码中搜索唯一标识符，提取相关数据，但我认为存在一个更“懒惰”的解决方案——更简单，更快，可以生成更多数据。

雅虎财经是财务数据做得最好的网站之一，这也让它成为金融爱好者进行网页抓取的主要目标。几乎每天都有关于StackOverflow的问题，抓取数据的人参考了雅虎财经的某种数据检索(通常是通过网络抓取)。

网页抓取问题1

网页抓取者尝试查找Facebook当前的股票价格。代码如下：

1. import requests 
2.         from bs4 importBeautifulSoup 
3.              defparsePrice(): 
4.           r = requests.get("https://finance.yahoo.com/quote/FB?p=FB") 
5.           soup =BeautifulSoup(r.text, "lxml") 
6.           price = soup.find( div , { class : My(6px) Pos(r)smartphone_Mt(6px) }).find( span ).text 
7.           print(f the current price: {price} ) 

该代码输出如下：

1. the current price: 216.08 

使用简单的网页抓取解决方案非常简单，但这还不够“懒惰”，让我们看下一个。

网页抓取问题2

网页抓取者正在尝试从统计标签中查找有关股票的企业价值和空头股票数量的数据。他的问题实际上是检索可能存在或不存在的嵌套字典值，但是在检索数据上，他似乎已经找到了更好的解决方法。

1. import requests, re, json, pprint 
2.              p = re.compile(r root.App.main =(.*); ) 
3.         tickers = [ AGL.AX ] 
4.         results = {} 
5.              with requests.Session() as s: 
6.                  for ticker in tickers: 
7.                 r = s.get( https://finance.yahoo.com/quote/{}/key-statistics?p={} .format(ticker,ticker)) 
8.                 data = json.loads(p.findall(r.text)[0]) 
9.                 key_stats = data[ context ][ dispatcher ][ stores ][ QuoteSummaryStore ] 
10.                 print(key_stats) 
11.                 res = { 
12.                          Enterprise Value  : key_stats[ defaultKeyStatistics ][ enterpriseValue ][ fmt ] 
13.                         , Shares_Short  : key_stats[ defaultKeyStatistics ][ sharesShort ].get( longFmt ,  N/A ) 
14.                 } 
15.                 results[ticker] = res 
16.              print(results) 

看第3行：网页抓取者能够在javascript的变量内找到他要查找的数据：

1. root.App.main = {.... }; 

在那里，只需访问字典中适当的嵌套键，即可轻松检索数据。但是，确实还有更“懒惰”的办法。

“懒惰”的解决方案1

1. import requests 
2.              r = requests.get("https://query2.finance.yahoo.com/v10/finance/quoteSummary/FB?modules=price") 
3.        data = r.json() 
4.        print(data) 
5.        print(f"the currentprice: {data[ quoteSummary ][ result ][0][ price ][ regularMarketPrice ][ raw ]}") 

看看第三行的URL，输出如下：

1. { 
2.      quoteSummary : { 
3.          error : None, 
4.          result : [{ 
5.              price : { 
6.                 averageDailyVolume10Day : {}, 
7.                 averageDailyVolume3Month : {}, 
8.                  circulatingSupply : {}, 
9.                  currency :  USD , 
10.                  currencySymbol :  $ , 
11.                  exchange :  NMS , 
12.                  exchangeDataDelayedBy :0, 
13.                  exchangeName : NasdaqGS , 
14.                  fromCurrency : None, 
15.                  lastMarket : None, 
16.                  longName :  Facebook,Inc. , 
17.                  marketCap : { 
18.                      fmt :  698.42B , 
19.                      longFmt : 698,423,836,672.00 , 
20.                      raw : 698423836672 
21.                 }, 
22.                  marketState :  REGULAR , 
23.                  maxAge : 1, 
24.                  openInterest : {}, 
25.                  postMarketChange : {}, 
26.                  postMarketPrice : {}, 
27.                  preMarketChange : { 
28.                      fmt :  -0.90 , 
29.                      raw : -0.899994 
30.                 }, 
31.                  preMarketChangePercent :{ 
32.                      fmt :  -0.37% , 
33.                      raw : -0.00368096 
34.                 }, 
35.                  preMarketPrice : { 
36.                      fmt :  243.60 , 
37.                      raw : 243.6 
38.                 }, 
39.                  preMarketSource : FREE_REALTIME , 
40.                  preMarketTime :1594387780, 
41.                  priceHint : { 
42.                      fmt :  2 , 
43.                      longFmt :  2 , 
44.                      raw : 2 
45.                 }, 
46.                  quoteSourceName : Nasdaq Real Time   
47.                  Price , 
48.                  quoteType :  EQUITY , 
49.                  regularMarketChange : { 
50.                      fmt :  0.30 , 
51.                      raw : 0.30160522 
52.                 }, 
53.                 regularMarketChangePercent : { 
54.                      fmt :  0.12% , 
55.                      raw : 0.0012335592 
56.                 }, 
57.                  regularMarketDayHigh : { 
58.                      fmt :  245.49 , 
59.                      raw : 245.49 
60.                 }, 
61.                  regularMarketDayLow : { 
62.                      fmt :  239.32 , 
63.                      raw : 239.32 
64.                 }, 
65.                  regularMarketOpen : { 
66.                      fmt :  243.68 , 
67.                      raw : 243.685 
68.                 }, 
69.                 regularMarketPreviousClose : { 
70.                      fmt :  244.50 , 
71.                      raw : 244.5 
72.                 }, 
73.                  regularMarketPrice : { 
74.                      fmt :  244.80 , 
75.                      raw : 244.8016 
76.                 }, 
77.                  regularMarketSource : FREE_REALTIME , 
78.                  regularMarketTime :1594410026, 
79.                  regularMarketVolume : { 
80.                      fmt :  19.46M , 
81.                      longFmt :  19,456,621.00 , 
82.                      raw : 19456621 
83.                 }, 
84.                  shortName :  Facebook,Inc. , 
85.                  strikePrice : {}, 
86.                  symbol :  FB , 
87.                  toCurrency : None, 
88.                  underlyingSymbol : None, 
89.                  volume24Hr : {}, 
90.                  volumeAllCurrencies : {} 
91.             } 
92.         }] 
93.     } 
94. }the current price: 241.63 

（编辑：我爱制作网_潮州站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!