快捷導(dǎo)航

Python重新加載模塊的實(shí)現(xiàn)方法

更新時(shí)間：2018年10月16日 09:25:18 作者：codePande

今天小編就為大家分享一篇Python重新加載模塊的實(shí)現(xiàn)方法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧

importlib 模塊的作用

模塊，是一個(gè)一個(gè)單獨(dú)的py文件包，里面包含多個(gè)模塊（py文件）

動(dòng)態(tài)導(dǎo)入模塊，這樣就不用寫(xiě)那么多的import代碼，典型的例子：自動(dòng)同步服務(wù)，每個(gè)網(wǎng)站都有一個(gè)py文件。主進(jìn)程里收到同步任務(wù)，根據(jù)名稱(chēng)來(lái)動(dòng)態(tài)導(dǎo)入對(duì)應(yīng)的py文件，這樣就不用寫(xiě)那么多的import代碼。（有點(diǎn)類(lèi)似java的工廠方法）

但是，importlib并不能解決我在線(xiàn)修改py源碼，再不重啟進(jìn)程的情況下，使修改生效。這種情況，可以使用reload()

reload方法

為防止兩個(gè)模塊互相導(dǎo)入的問(wèn)題，Python默認(rèn)所有的模塊都只導(dǎo)入一次，如果需要重新導(dǎo)入模塊， Python2.7可以直接用reload()，Python3可以用下面幾種方法：

方法一：基本方法 from imp import reload reload(module)

方法二：按照套路，可以這樣 import imp imp.reload(module)

方法三：看看imp.py，有發(fā)現(xiàn)，所以還可以這樣 import importlib importlib.reload(module)

方法四：根據(jù)天理，當(dāng)然也可以這樣 from importlib import reload reload(module)

在多進(jìn)程的程序中，一個(gè)進(jìn)程的reload是無(wú)法影響另一個(gè)進(jìn)程的

例子：

# 在主進(jìn)程中啟動(dòng)多進(jìn)程
def begin():
  """ 啟動(dòng)多進(jìn)程 """
  plist = []
  for i in xrange(Num_process):
    p = Process(target=pre_run)
    p.start()
    plist.append(p)
  # 此進(jìn)程監(jiān)聽(tīng)redis消息，收到消息，即執(zhí)行reload方法
  p = Process(target=reload_spider)
  p.start()
  plist.append(p)
  for p in plist:
    p.join()

# 監(jiān)聽(tīng)redis，執(zhí)行reload方法
def reload_spider():
  """ 監(jiān)聽(tīng)文件變化，自動(dòng)reload """
  rconn = redis.Redis(host=settings.REDIS_HOST, port=settings.REDIS_PORT, db=settings.REDIS_DB, password=settings.REDIS_PW)
  while True:
    try:
      key = 'reload-spider'
      value = rconn.get(key)
      print value
      if value == '1':
        crawler_module = importlib.import_module('crawlers.%s' % 'temp'.lower())
        reload(crawler_module)
        crawlerClass = getattr(crawler_module, 'temp'.upper())
        print 'reload_spider 中的class： %s' % (crawlerClass.name)
      # rconn.delete(key)
    except Exception, e:
      pass
    time.sleep(3)

另一個(gè)進(jìn)程打印py文件里面一個(gè)變量

crawler = get_crawler_from_factory(mq_service, message)
  print crawler.name

結(jié)果發(fā)現(xiàn)，一個(gè)進(jìn)程中進(jìn)行了reload，并不能改變另外一個(gè)進(jìn)程中的變量。那么在同一個(gè)進(jìn)程中呢...

同一進(jìn)程中，多線(xiàn)程，任一線(xiàn)程進(jìn)行了reload操作，其他線(xiàn)程均受影響

def pre_run():
  t = threading.Thread(target=reload_spider, name='LoopThread')
  t.start()
  # t.join()
 
  """ 在每個(gè)進(jìn)程里面再使用多線(xiàn)程 """
  pool = ThreadPool(Num_Thread)
  # 初始化mq通道
  mq_service = RabbitMqService()
 
  def callback(ch, method, properties, body):
    # 消息確認(rèn)
    mq_service.input_channel.basic_ack(delivery_tag=method.delivery_tag)
    # 獲取當(dāng)前線(xiàn)程的名字
    current_process_name = multiprocessing.current_process().name
    logger.debug('當(dāng)前進(jìn)程名稱(chēng)：%s - pid: %s' % (current_process_name, os.getpid()))
    logger.debug('進(jìn)程 %s，收到消息： %s' % (current_process_name, body))
    # 收到任務(wù)消息，丟給線(xiàn)程池處理
    pool.apply_async(run, (properties, body, mq_service))
  # 開(kāi)始監(jiān)聽(tīng)入口通道
  mq_service.receive(callback)

reload_spider中監(jiān)聽(tīng)redi中的消息，如果有reload標(biāo)識(shí)，進(jìn)行reload操作

def reload_spider():
  """ 監(jiān)聽(tīng)文件變化，自動(dòng)reload """
  rconn = redis.Redis(host=settings.REDIS_HOST, port=settings.REDIS_PORT, db=settings.REDIS_DB, password=settings.REDIS_PW)
  while True:
    try:
      key = 'reload-spider'
      value = rconn.get(key)
      print value
      if value == '1':
        crawler_module = importlib.import_module('crawlers.%s' % 'temp'.lower())
        reload(crawler_module)
        crawlerClass = getattr(crawler_module, 'temp'.upper())
        print 'reload_spider 中的class： %s' % (crawlerClass.name)
      # rconn.delete(key)
    except Exception, e:
      pass
    time.sleep(3)

經(jīng)測(cè)試，其他線(xiàn)程中的引入的變量，也改變了。

當(dāng)然，消息監(jiān)聽(tīng)最好使用mq或者是redis阻塞隊(duì)列

以上這篇Python重新加載模塊的實(shí)現(xiàn)方法就是小編分享給大家的全部?jī)?nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。

您可能感興趣的文章: