python如何將數(shù)據(jù)集按比例隨機(jī)切分
更新時(shí)間：2023年09月09日 09:06:14 作者：Arxan_hjw
這篇文章主要介紹了python如何將數(shù)據(jù)集按比例隨機(jī)切分問(wèn)題,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教
python將數(shù)據(jù)集按比例隨機(jī)切分
# -*- coding: utf-8 -*-
"""
將數(shù)據(jù)按比例切分
"""
from sklearn import model_selection
c = []
j = 0
#filename = r'E:\NER\CCKS2020\Data\ccks2020_2_task1_train\task1_train.txt'
filename = open(r'task1_train.txt','r',encoding='utf-8')
out_train = open(r'train.txt', 'w',encoding='utf-8')
out_test = open(r'temp.txt', 'w',encoding='utf-8')
for line in filename:
# items = line.strip().split()
c.append(line)
c_train, c_test = model_selection.train_test_split(c, test_size=0.2)
for i in c_train:
out_train.write(i)
for i in c_test:
out_test.write(i)sklearn數(shù)據(jù)集隨機(jī)切分（train_test_split）
sklearn學(xué)習(xí)
給定數(shù)據(jù)集X和類(lèi)別標(biāo)簽y，將數(shù)據(jù)集按一定比例隨機(jī)切分為訓(xùn)練集和測(cè)試集。
代碼
#!/usr/bin/env python
# -*- coding: utf-8 -*-
"""
功能：數(shù)據(jù)集按比例切分為訓(xùn)練集和測(cè)試集
時(shí)間：2017年3月11日 12:48:57
"""
# from sklearn.cross_validation import train_test_split
from sklearn.model_selection import train_test_split # 更新
# 生成200個(gè)句子，前100個(gè)和后100個(gè)類(lèi)別分別對(duì)應(yīng)1和2
X = [[u"這是", u"第1個(gè)", u"測(cè)試"]] * 100 + [[u"這是", u"第2個(gè)", u"測(cè)試"]] * 100
y = [1] * 100 + [2] * 100
# 隨機(jī)抽取20%的測(cè)試集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2)
print len(X_train), len(X_test)
# 查看句子和標(biāo)簽是否仍然對(duì)應(yīng)
for i in range(len(X_test)):
print "".join(X_test[i]), y_test[i]
if __name__ == "__main__":
pass實(shí)驗(yàn)結(jié)果
切分后的訓(xùn)練集和測(cè)試集標(biāo)簽仍然一一對(duì)應(yīng)。
更新
由于sklearn更新，代碼應(yīng)改為：
from sklearn.model_selection import train_test_split
總結(jié)
以上為個(gè)人經(jīng)驗(yàn)，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
相關(guān)文章
工作中最常見(jiàn)的配置文件有四種：普通key=value的配置文件、Json格式的配置文件、HTML格式的配置文件以及YMAML配置文件。這篇文章主要介紹了Python比較配置文件的方法 ,需要的朋友可以參考下2019-06-06
Python 實(shí)現(xiàn)使用空值進(jìn)行賦值 None
這篇文章主要介紹了Python 實(shí)現(xiàn)使用空值進(jìn)行賦值 None，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-03-03
python偏函數(shù)的實(shí)例用法總結(jié)
在本篇文章里小編給大家整理的是一篇關(guān)于python偏函數(shù)的實(shí)例用法總結(jié)內(nèi)容，有興趣的朋友們可以跟著學(xué)習(xí)參考下。2021-07-07
pandas重置索引標(biāo)簽的實(shí)現(xiàn)示例
在使用Pandas進(jìn)行數(shù)據(jù)處理時(shí),有時(shí)候我們可能會(huì)需要對(duì)數(shù)據(jù)進(jìn)行重置索引的操作,本文主要介紹了pandas重置索引標(biāo)簽的實(shí)現(xiàn)示例,具有一定的參考價(jià)值,感興趣的可以了解一下2024-04-04
python 串口讀取+存儲(chǔ)+輸出處理實(shí)例
今天小編就為大家分享一篇python 串口讀取+存儲(chǔ)+輸出處理實(shí)例，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2019-12-12
Python免登錄實(shí)現(xiàn)域名解析的示例詳解
這篇文章主要介紹了如何利用編寫(xiě)python腳本，實(shí)現(xiàn)通過(guò)dnspod api獲取個(gè)人域名內(nèi)的dns解析記錄，從而實(shí)現(xiàn)域名的解析、修改和刪除，需要的可以參考一下2023-03-03
Python無(wú)法安裝包的一種解決(Requirement already satisfied問(wèn)題)
這篇文章主要介紹了Python無(wú)法安裝包的一種解決(Requirement already satisfied問(wèn)題),具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2023-08-08
C語(yǔ)言中printf()函數(shù)的全面介紹及用法(簡(jiǎn)單易懂)
在C語(yǔ)言中,printf()是常用的輸出函數(shù),包含在頭文件中,它使用格式控制字符串,其中包括格式字符、轉(zhuǎn)義字符和普通字符,格式字符以"%"開(kāi)頭,文中將用法介紹的非常詳細(xì),需要的朋友可以參考下2024-09-09
Python面向?qū)ο蟮某绦蛟O(shè)計(jì)詳情
這篇文章主要介紹了Python面向?qū)ο蟮某绦蛟O(shè)計(jì)詳情，面向?qū)ο蟮某绦蛟O(shè)計(jì)在Python中具有非常重要的地位，熟練的使用面向?qū)ο缶幊棠軌驗(yàn)槲覀兊腜ython編程提供很多的便利之處，希望您閱讀完本文后能夠有所收獲2022-01-01
tensorflow 1.X遷移至tensorflow2 的代碼寫(xiě)法
本文主要介紹了tensorflow 1.X遷移至tensorflow2 的代碼寫(xiě)法，文中通過(guò)示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2021-12-12