欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

在Python上基于Markov鏈生成偽隨機(jī)文本的教程

 更新時間:2015年04月17日 14:54:21   投稿:goldensun  
這篇文章主要介紹了在Python上基于Markov鏈生成偽隨機(jī)文本的教程,是一個基于馬爾可夫算法的小實現(xiàn),充分體現(xiàn)了Python在科學(xué)計算中的用途,需要的朋友可以參考下

 首先看一下來自Wolfram的定義

    馬爾可夫鏈?zhǔn)请S機(jī)變量{X_t}的集合(t貫穿0,1,...),給定當(dāng)前的狀態(tài),未來與過去條件獨(dú)立。

Wikipedia的定義更清楚一點(diǎn)兒

    ...馬爾可夫鏈?zhǔn)蔷哂旭R爾可夫性質(zhì)的隨機(jī)過程...[這意味著]狀態(tài)改變是概率性的,未來的狀態(tài)僅僅依賴當(dāng)前的狀態(tài)。

馬爾可夫鏈具有多種用途,現(xiàn)在讓我看一下如何用它生產(chǎn)看起來像模像樣的胡言亂語。

算法如下,

  1.     找一個作為語料庫的文本,語料庫用于選擇接下來的轉(zhuǎn)換。
  2.     從文本中兩個連續(xù)的單詞開始,最后的兩個單詞構(gòu)成當(dāng)前狀態(tài)。
  3.     生成下一個單詞的過程就是馬爾可夫轉(zhuǎn)換。為了生成下一個單詞,首先查看語料庫,查找這兩個單詞之后跟著的單詞。從它們中隨機(jī)選擇一個。
  4.     重復(fù)2,直到生成的文本達(dá)到需要的大小。


代碼如下
 

import random
 
class Markov(object):
  
 def __init__(self, open_file):
  self.cache = {}
  self.open_file = open_file
  self.words = self.file_to_words()
  self.word_size = len(self.words)
  self.database()
   
  
 def file_to_words(self):
  self.open_file.seek(0)
  data = self.open_file.read()
  words = data.split()
  return words
   
  
 def triples(self):
  """ Generates triples from the given data string. So if our string were
    "What a lovely day", we'd generate (What, a, lovely) and then
    (a, lovely, day).
  """
   
  if len(self.words) < 3:
   return
   
  for i in range(len(self.words) - 2):
   yield (self.words[i], self.words[i+1], self.words[i+2])
    
 def database(self):
  for w1, w2, w3 in self.triples():
   key = (w1, w2)
   if key in self.cache:
    self.cache[key].append(w3)
   else:
    self.cache[key] = [w3]
     
 def generate_markov_text(self, size=25):
  seed = random.randint(0, self.word_size-3)
  seed_word, next_word = self.words[seed], self.words[seed+1]
  w1, w2 = seed_word, next_word
  gen_words = []
  for i in xrange(size):
   gen_words.append(w1)
   w1, w2 = w2, random.choice(self.cache[(w1, w2)])
  gen_words.append(w2)
  return ' '.join(gen_words)

為了看到一個示例結(jié)果,我們從古騰堡計劃中拿了沃德豪斯的《My man jeeves》作為文本,示例結(jié)果如下。
 

In [1]: file_ = open('/home/shabda/jeeves.txt')
 
In [2]: import markovgen
 
In [3]: markov = markovgen.Markov(file_)
 
In [4]: markov.generate_markov_text()
Out[4]: 'Can you put a few years of your twin-brother Alfred,
who was apt to rally round a bit. I should strongly advocate
the blue with milk'

[如果想執(zhí)行這個例子,請下載jeeves.txtmarkovgen.py
馬爾可夫算法怎樣呢?

  •     最后兩個單詞是當(dāng)前狀態(tài)。
  •     接下來的單詞僅僅依賴最后兩個單詞,也就是當(dāng)前狀態(tài)。
  •     接下來的單詞是從語料庫的統(tǒng)計模型中隨機(jī)選擇的。

這是一個示例文本。

復(fù)制代碼 代碼如下:
"The quick brown fox jumps over the brown fox who is slow jumps over the brown fox who is dead."

這個文本對應(yīng)的語料庫像這樣,
 

{('The', 'quick'): ['brown'],
 ('brown', 'fox'): ['jumps', 'who', 'who'],
 ('fox', 'jumps'): ['over'],
 ('fox', 'who'): ['is', 'is'],
 ('is', 'slow'): ['jumps'],
 ('jumps', 'over'): ['the', 'the'],
 ('over', 'the'): ['brown', 'brown'],
 ('quick', 'brown'): ['fox'],
 ('slow', 'jumps'): ['over'],
 ('the', 'brown'): ['fox', 'fox'],
 ('who', 'is'): ['slow', 'dead.']}

現(xiàn)在如果我們從"brown fox"開始,接下來的單詞可以是"jumps"或者"who"。如果我們選擇"jumps",然后當(dāng)前的狀態(tài)就變成了"fox jumps",再接下的單詞就是"over",之后依此類推。

提示

  •     我們選擇的文本越大,每次轉(zhuǎn)換的選擇更多,生成的文本更好看。
  •     狀態(tài)可以設(shè)置為依賴一個單詞、兩個單詞或者任意數(shù)量的單詞。隨著每個狀態(tài)的單詞數(shù)的增加,生成的文本更不隨機(jī)。
  •     不要去掉標(biāo)點(diǎn)符號等。它們會使語料庫更具代表性,隨機(jī)文本更好看。

相關(guān)文章

  • python練習(xí)程序批量修改文件名

    python練習(xí)程序批量修改文件名

    文件名中卻都含有xxx有聲下載,使用腳本將其去掉。腳本練習(xí)了os.rename重命名方法,str.partition方法使用, 及正則match,search方法區(qū)別
    2014-01-01
  • Jupyter Notebook切換虛擬環(huán)境的三種方法

    Jupyter Notebook切換虛擬環(huán)境的三種方法

    本文主要介紹了Jupyter Notebook切換虛擬環(huán)境的三種方法,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
    2023-07-07
  • 淺談Python3中strip()、lstrip()、rstrip()用法詳解

    淺談Python3中strip()、lstrip()、rstrip()用法詳解

    這篇文章主要介紹了淺談Python3中strip()、lstrip()、rstrip()用法詳解,小編覺得挺不錯的,現(xiàn)在分享給大家,也給大家做個參考。一起跟隨小編過來看看吧
    2019-04-04
  • Python數(shù)據(jù)提取-lxml模塊

    Python數(shù)據(jù)提取-lxml模塊

    這篇文章主要介紹了Python數(shù)據(jù)提取-lxml模塊,lxml模塊和xpath語法的關(guān)系,lxml模塊的使用場景、lxml模塊的安裝、谷歌瀏覽器xpath?helper插件的安裝和使用等相關(guān)內(nèi)容介紹,需要的朋友可以參考一下
    2022-01-01
  • 在django中圖片上傳的格式校驗及大小方法

    在django中圖片上傳的格式校驗及大小方法

    今天小編就為大家分享一篇在django中圖片上傳的格式校驗及大小方法,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2019-07-07
  • Python中的請求重試策略深入探討

    Python中的請求重試策略深入探討

    在網(wǎng)絡(luò)通信中,由于各種原因,請求可能會失敗,為了增加程序的健壯性和可靠性,實現(xiàn)一個優(yōu)雅的請求重試策略是至關(guān)重要的,本文將深入探討如何在Python中實現(xiàn)優(yōu)雅的請求重試,通過豐富的示例代碼和詳細(xì)的解釋,幫助大家更好地理解和應(yīng)用重試機(jī)制
    2024-01-01
  • Python 開發(fā)工具通過 agent 代理使用的方法

    Python 開發(fā)工具通過 agent 代理使用的方法

    這篇文章主要介紹了Python 開發(fā)工具通過 agent 代理使用的方法,本文給大家介紹的非常詳細(xì),對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值,需要的朋友可以參考下
    2020-09-09
  • python神經(jīng)網(wǎng)絡(luò)使用tensorflow實現(xiàn)自編碼Autoencoder

    python神經(jīng)網(wǎng)絡(luò)使用tensorflow實現(xiàn)自編碼Autoencoder

    這篇文章主要為大家介紹了python神經(jīng)網(wǎng)絡(luò)使用tensorflow實現(xiàn)自編碼Autoencoder,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪
    2022-05-05
  • Python3.9 beta2版本發(fā)布了,看看這7個新的PEP都是什么

    Python3.9 beta2版本發(fā)布了,看看這7個新的PEP都是什么

    這篇文章主要介紹了Python3.9 beta2版本發(fā)布了,看看這7個新的PEP都是什么,小編覺得挺不錯的,現(xiàn)在分享給大家,也給大家做個參考。一起跟隨小編過來看看吧
    2020-06-06
  • Python的數(shù)據(jù)類型與標(biāo)識符和判斷語句詳解

    Python的數(shù)據(jù)類型與標(biāo)識符和判斷語句詳解

    在本篇文章里小編給大家整理了一篇關(guān)于python數(shù)據(jù)類型與標(biāo)識符和判斷語句的介紹,有需要的朋友們可以學(xué)習(xí)下,希望能夠給你帶來幫助
    2021-09-09

最新評論