1.报错：'NoneType' object has no attribute 'get_text'
是取不存在值所致，在get_text之前判断一下，即：
if title is None: return
2.防止程序因错误终止，多用try即：
try:
...
except Exception as e:
print(e)
3.请求太频繁，写在requests底下
s = requests.session()
s.keep_alive = False
4.多线程并发抓取
from threading import Thread
from Queue import Queue
from time import sleep
# q是任务队列
#NUM是并发线程总数
#JOBS是有多少任务
q = Queue()
NUM = 2
JOBS = 10
#具体的处理函数，负责处理单个任务
def do_somthing_using(arguments):
print arguments
#这个是工作进程，负责不断从队列取数据并处理
def working():
while True:
arguments = q.get()
do_somthing_using(arguments)
sleep(1)
q.task_done()
#fork NUM个线程等待队列
for i in range(NUM):
t = Thread(target=working)
t.setDaemon(True)
t.start()
#把JOBS排入队列
for i in range(JOBS):
q.put(i)
#等待所有JOBS完成
q.join()