问题:使用Python解析HTML
我正在寻找适用于Python的HTML Parser模块,该模块可以帮助我以Python列表/字典/对象的形式获取标签。
如果我有以下格式的文件:
<html>
<head>Heading</head>
<body attr1='val1'>
<div class='container'>
<div id='class'>Something here</div>
<div>Something else</div>
</div>
</body>
</html>
那么它应该给我一种通过HTML标签的名称或ID访问嵌套标签的方法,这样我基本上可以要求它为我div
提供class='container'
包含在body
标签中或类似标签的标签中的内容/文本。
如果您使用了Firefox的“检查元素”功能(查看HTML),您就会知道它以一种很好的嵌套方式(如树)为您提供了所有标签。
我更喜欢一个内置模块,但是可能要求太多。
我在Stack Overflow上遇到了很多问题,在互联网上也有一些博客,其中大多数都建议使用BeautifulSoup或lxml或HTMLParser,但是其中很少有详细介绍功能,最后只是参数哪个更快/更有效。
回答 0
这样我就可以要求它为我获取div标签中的内容/文本,其中body =包含class =’container’或类似内容。
try:
from BeautifulSoup import BeautifulSoup
except ImportError:
from bs4 import BeautifulSoup
html = #the HTML code you've written above
parsed_html = BeautifulSoup(html)
print(parsed_html.body.find('div', attrs={'class':'container'}).text)
我猜您不需要性能描述-只需阅读BeautifulSoup的工作原理即可。查看其官方文档。
回答 1
我猜你在找什么pyquery:
pyquery:类似jQuery的python库。
您想要的示例可能像:
from pyquery import PyQuery
html = # Your HTML CODE
pq = PyQuery(html)
tag = pq('div#id') # or tag = pq('div.class')
print tag.text()
并且它使用与Firefox或Chrome的inspect元素相同的选择器。例如:
被检查的元素选择器是“ div#mw-head.noprint”。因此,在pyquery中,您只需要传递此选择器:
pq('div#mw-head.noprint')
回答 2
在这里,您可以了解有关Python中不同HTML解析器及其性能的更多信息。即使文章有些陈旧,它仍然可以为您提供很好的概述。
即使它不是内置的,我也建议使用BeautifulSoup。只是因为它很容易处理这些任务。例如:
import urllib2
from BeautifulSoup import BeautifulSoup
page = urllib2.urlopen('http://www.google.com/')
soup = BeautifulSoup(page)
x = soup.body.find('div', attrs={'class' : 'container'}).text
回答 3
与其他解析器库相比,lxml
速度非常快:
- http://blog.dispatched.ch/2010/08/16/beautifulsoup-vs-lxml-performance/
- http://www.ianbicking.org/blog/2008/03/python-html-parser-performance.html
而且,cssselect
它也非常容易用于抓取HTML页面:
from lxml.html import parse
doc = parse('http://www.google.com').getroot()
for div in doc.cssselect('a'):
print '%s: %s' % (div.text_content(), div.get('href'))
回答 4
我建议使用lxml解析HTML。请参阅“解析HTML”(在lxml网站上)。
以我的经验,Beautiful Soup将一些复杂的HTML弄乱了。我相信这是因为Beautiful Soup不是解析器,而是非常好的字符串分析器。
回答 5
我建议使用justext库:
https://github.com/miso-belica/jusText
用法: Python2:
import requests
import justext
response = requests.get("http://planet.python.org/")
paragraphs = justext.justext(response.content, justext.get_stoplist("English"))
for paragraph in paragraphs:
print paragraph.text
Python3:
import requests
import justext
response = requests.get("http://bbc.com/")
paragraphs = justext.justext(response.content, justext.get_stoplist("English"))
for paragraph in paragraphs:
print (paragraph.text)
回答 6
我会使用EHP
这里是:
from ehp import *
doc = '''<html>
<head>Heading</head>
<body attr1='val1'>
<div class='container'>
<div id='class'>Something here</div>
<div>Something else</div>
</div>
</body>
</html>
'''
html = Html()
dom = html.feed(doc)
for ind in dom.find('div', ('class', 'container')):
print ind.text()
输出:
Something here
Something else