之前有一个需求需要抓取网络上公开的网页数据,网页的代码大致如下:
需要抓取的数据一共4处,结构并没有什么规律,而且分散。但是使用golang却可以很轻松地获取到所需要的数据,而且代码量很少。
doc, _ := goquery.NewDocumentFromReader(strings.NewReader(string(resp.Body())))
doc.Find("span[class='keyword']").Each(func(i int, s *goquery.Selection) {
fmt.Println(s.Text())
})
doc.Find("div[class='baav']").Each(func(i int, s *goquery.Selection) {
s.Find("span[class='phonetic']").Each(func(i int, s *goquery.Selection) {
fmt.Println(s.Text())
})
})
doc.Find("div[class='trans-container']").Each(func(i int, s *goquery.Selection) {
if i == 0 {
s.Find("li").Each(func(i int, s *goquery.Selection) {
fmt.Println(s.Text())
})
}
})