pip install jieba

import jieba

# 待分詞的中文文本
text = "結巴分詞是一款強大的中文分詞工具。"

# 使用 jieba.cut 進行基本分詞，返回一個生成器
seg_result_generator = jieba.cut(text)

# 將生成器轉換為列表，并打印分詞結果
seg_result_list = list(seg_result_generator)
print("分詞結果：", seg_result_list)

import jieba

# 待分詞的中文文本
text = "結巴分詞是一款強大的中文分詞工具。"

# 使用 jieba.cut 進行基本分詞，返回一個生成器
seg_result_generator = jieba.cut(text)

# 將生成器轉換為列表，并打印分詞結果
seg_result_list = list(seg_result_generator)
print("jieba.cut 分詞結果：", seg_result_list)

import jieba

# 待分詞的中文文本
query = "自然語言處理"

# 使用 jieba.cut_for_search 進行搜索引擎分詞
seg_result_generator = jieba.cut_for_search(query)

# 將生成器轉換為列表，并打印分詞結果
seg_result_list = list(seg_result_generator)
print("jieba.cut_for_search 分詞結果：", seg_result_list)

import jieba

# 待分詞的中文文本
text = "結巴分詞是一款強大的中文分詞工具。"

# 使用 jieba.lcut 進行基本分詞，并打印結果
seg_result_list = jieba.lcut(text)
print("jieba.lcut 分詞結果：", seg_result_list)

import jieba.posseg as pseg

# 待標注詞性的中文文本
text = "結巴分詞是一款強大的中文分詞工具。"

# 使用 jieba.posseg 進行詞性標注
words = pseg.cut(text)

# 打印詞性標注結果
for word, pos in words:
    print(f"{word} : {pos}")

import jieba.analyse

# 待提取關鍵詞的中文文本
text = "結巴分詞是一款強大的中文分詞工具。"

# 使用 jieba.analyse 提取關鍵詞
keywords = jieba.analyse.extract_tags(text, topK=5)

# 打印提取的關鍵詞
print("提取的關鍵詞：", keywords)

import jieba
# 待分詞的中文文本
text = "結巴分詞是一款強大的中文分詞工具。"
# 添加自定義詞典
jieba.add_word("結巴分詞")
# 使用 jieba.cut 進行分詞
seg_result = jieba.cut(text)
# 將生成器轉換為列表，并打印分詞結果
seg_result_list = list(seg_result)
print("添加自定義詞典后的分詞結果：", seg_result_list)

import jieba

# 待分詞的醫(yī)學文本
medical_text = "新藥研發(fā)取得重大突破，對治療某種疾病具有顯著效果。"

# 添加醫(yī)學領域的自定義詞匯
jieba.add_word("新藥研發(fā)")
jieba.add_word("治療某種疾病")

# 使用 jieba.cut 進行分詞
seg_result = jieba.cut(medical_text)

# 將生成器轉換為列表，并打印分詞結果
seg_result_list = list(seg_result)
print("添加醫(yī)學領域自定義詞典后的分詞結果：", seg_result_list)

import jieba
# 待分詞的中文文本
text = "結巴分詞是一款強大的中文分詞工具，可以廣泛應用于自然語言處理和文本挖掘領域。"
# 示例停用詞表
stop_words = ["是", "一款", "可以", "和", "領域"]
# 加載停用詞表
jieba.analyse.set_stop_words(stop_words)
# 使用 jieba.cut 進行分詞
seg_result = jieba.cut(text)
# 過濾停用詞后，將生成器轉換為列表，并打印分詞結果
filtered_seg_result_list = [word for word in seg_result if word not in stop_words]
print("過濾停用詞后的分詞結果：", filtered_seg_result_list)

import jieba
from sklearn.feature_extraction.text import CountVectorizer
from sklearn.naive_bayes import MultinomialNB
# 構建情感分析數(shù)據(jù)集
positive_texts = ["這個產品太棒了，我非常喜歡！",
                  "服務很好，態(tài)度也很熱情。",
                  "真的是太贊了！"]
negative_texts = ["這個產品質量很差，不值得購買。",
                  "服務太差勁了，態(tài)度很惡劣。",
                  "真的很失望。"]
# 分詞處理
positive_seg = [" ".join(jieba.cut(text)) for text in positive_texts]
negative_seg = [" ".join(jieba.cut(text)) for text in negative_texts]
# 構建特征表示
vectorizer = CountVectorizer()
X = vectorizer.fit_transform(positive_seg + negative_seg)
# 構建標簽
y = [1] * len(positive_texts) + [0] * len(negative_texts)
# 構建樸素貝葉斯分類器
clf = MultinomialNB()
clf.fit(X, y)
# 測試情感分析
test_text = "這個產品真的太差了，完全不值得購買。"
test_seg = " ".join(jieba.cut(test_text))
test_X = vectorizer.transform([test_seg])
result = clf.predict(test_X)
# 打印結果
if result[0] == 1:
    print("情感分析結果：正面")
else:
    print("情感分析結果：負面")

import jieba
from wordcloud import WordCloud
import matplotlib.pyplot as plt

# 待處理的中文文本
text = "結巴分詞是一款強大的中文分詞工具，可以廣泛應用于自然語言處理和文本挖掘領域。"

# 使用jieba進行分詞
seg_result = jieba.cut(text)
seg_result_str = " ".join(seg_result)

# 生成詞云
wordcloud = WordCloud(font_path="simsun.ttf", background_color="white").generate(seg_result_str)

# 顯示詞云圖
plt.figure(figsize=(8, 8), facecolor=None)
plt.imshow(wordcloud, interpolation="bilinear")
plt.axis("off")
plt.show()

import jieba
from sklearn.feature_extraction.text import CountVectorizer
from sklearn.naive_bayes import MultinomialNB
# 構建情感分析數(shù)據(jù)集
positive_texts = ["這個產品太棒了，我非常喜歡！",
                  "服務很好，態(tài)度也很熱情。",
                  "真的是太贊了！"]
negative_texts = ["這個產品質量很差，不值得購買。",
                  "服務太差勁了，態(tài)度很惡劣。",
                  "真的很失望。"]
# 分詞處理
positive_seg = [" ".join(jieba.cut(text)) for text in positive_texts]
negative_seg = [" ".join(jieba.cut(text)) for text in negative_texts]
# 構建特征表示
vectorizer = CountVectorizer()
X = vectorizer.fit_transform(positive_seg + negative_seg)
# 構建標簽
y = [1] * len(positive_texts) + [0] * len(negative_texts)
# 構建樸素貝葉斯分類器
clf = MultinomialNB()
clf.fit(X, y)
# 測試情感分析
test_text = "這個產品真的太差了，完全不值得購買。"
test_seg = " ".join(jieba.cut(test_text))
test_X = vectorizer.transform([test_seg])
result = clf.predict(test_X)
# 打印結果
if result[0] == 1:
    print("情感分析結果：正面")
else:
    print("情感分析結果：負面")

import jieba.analyse
# 待提取關鍵詞的新聞文本
news_text = "近日，一項關于新冠疫苗的研究成果在國際上引起廣泛關注。"
# 使用jieba提取關鍵詞
keywords = jieba.analyse.extract_tags(news_text, topK=5)
# 打印提取的關鍵詞
print("提取的關鍵詞：", keywords)

import jieba.analyse
# 用戶評論文本
user_comment = "這個產品很好用，性價比也很高，非常滿意。"
# 使用jieba提取關鍵詞
keywords = jieba.analyse.extract_tags(user_comment, topK=3)
# 打印提取的關鍵詞
print("用戶關鍵詞提取結果：", keywords)