网站开发项目的简介,望野千枝叶,昆明网站推广哪家好,北京本地网络推广平台正如一句老话所说#xff0c;预测是困难的#xff0c;尤其是预测未来。但是#xff0c;如何预测一些看起来容易得多的事情#xff0c;比如某人接下来要说的几句话后面可能跟着哪个单词。 希望你们大多数人都能总结出一个很可能的词是in#xff0c;或者可能是over#x… 正如一句老话所说预测是困难的尤其是预测未来。但是如何预测一些看起来容易得多的事情比如某人接下来要说的几句话后面可能跟着哪个单词。 希望你们大多数人都能总结出一个很可能的词是in或者可能是over但可能不是fridge或the。在下面的部分中我们将通过引入为每个可能的下一个单词分配概率的模型来形式化这种直觉。同样的模型也将用于为整个句子分配概率。例如这样的模型可以预测以下序列在文本中出现的概率要高得多。 什么是N-gram 呢下面咱们直接开始讲例子 上面的一个问题如何解决呢其中最简单的一种办法就是使用频率计算在我们看到历史h句子中有多少次它后面跟着单词w。也就是说你有大量的语料然后你找出所有的句子h然后你再找出h后面跟着the的句子此时后面的句子数目除以前面的句子数目就是概率p(w|h)。有了足够大的语料库比如web我们可以计算这些计数并从前面公式中估计概率。虽然这种直接从计数中估计概率的方法在很多情况下都很有效但事实证明在大多数情况下即使是网络也不够大无法给我们很好的估计。这是因为语言是创造性的;新的句子一直在被创造出来我们并不总是能够计算出整个句子。 类似地如果我们想知道整个单词序列的联合概率比如它的水是如此透明我们可以问“out of all possible sequences of five words, how many of them are its water is so transparent?”我们必须得到它的水是如此透明的计数然后除以所有可能的五个单词序列的计数之和。估计起来似乎太多了! 如上这段写的非常经典就不翻译了自己看英文写的非常凝练其实就是记号的写法还有计算公式。 这段依旧写的很经典就是说之前我为了判断h后面the的概率我需要把h里面所有的概率累加起来这样的话计算量太大为了避免这个问题直接把h前面的头去掉用that代替h也就是1-gram。 上面的技术讲的有些理论下面上几个例子和代码
当我们处理文本数据时n-gram是一种常见的技术它可以将文本切分成连续的n个词或字符序列并对这些序列进行分析。例如在一个句子中提取所有的2-gram或bigram
原始文本I love natural language processing. 提取2-gram[(I,love), (love,natural), (natural,language), (language,processing)]
在python中我们可以使用NLTK库来实现ngram的计算。以下是一个简单的代码示例使用unigram、bigram和trigram从给定的文本中提取ngram
import nltktext I love natural language processing.# 将文本转换为tokens
tokens nltk.word_tokenize(text)# 创建unigrams
unigrams list(nltk.ngrams(tokens, 1))
print(Unigrams:, unigrams)# 创建bigrams
bigrams list(nltk.ngrams(tokens, 2))
print(Bigrams:, bigrams)# 创建trigrams
trigrams list(nltk.ngrams(tokens, 3))
print(Trigrams:, trigrams)来一个概率计算的例子
import nltktext I love natural language processing.# 将文本转换为tokens
tokens nltk.word_tokenize(text)# 创建bigrams
bigrams list(nltk.ngrams(tokens, 2))
print(Bigrams:, bigrams)# 建立词汇表
vocab set(tokens)# 统计每个bigram的出现次数
freq_dist nltk.FreqDist(bigrams)# 计算概率使用最大似然估计
for bg in bigrams:prob freq_dist[bg] / freq_dist[bg[0]]print(P({}|{}) {}.format(bg[1], bg[0], prob))
