欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

java代碼實現(xiàn)mysql分表操作(用戶行為記錄)

 更新時間:2021年02月19日 11:17:11   作者:Yang_薛  
這篇文章主要介紹了java代碼實現(xiàn)mysql分表操作(用戶行為記錄),具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧

設(shè)置項目氣動執(zhí)行次方法(每天檢查一次表記錄)

public class DayInterval implements ServletContextListener{
	private static SimpleDateFormat simpleDateFormat=new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");
	public static void showDayTime() {
			Timer dTimer = new Timer();
			dTimer.schedule(new TimerTask() {
			@Override
			public void run() {	
			  System.out.println("每日任務(wù)執(zhí)行:"+simpleDateFormat.format(new Date()));
			  LogTableCreate logTableCreate = new LogTableCreate();
			  Thread thread=new Thread(logTableCreate);
			  thread.start();
			}
			}, 1000 , 24* 60* 60 * 1000);//24* 60* 60 * 1000(第一次一秒后執(zhí)行,以后每次一天后執(zhí)行)
	}
	@Override
	public void contextDestroyed(ServletContextEvent arg0) {
//		showDayTime();
	}
	@Override
	public void contextInitialized(ServletContextEvent arg0) {
		showDayTime();
	}
}

LogTableCreate 用來做表分表是否已經(jīng)創(chuàng)建,如現(xiàn)在是9月在啟動時檢查是否存在當(dāng)月表記錄,不存在則創(chuàng)建存在則不創(chuàng)建,另外檢查是否存在10月份表記錄,不存在則創(chuàng)建(提前創(chuàng)建一個也空表,以此類推)。

拷貝代碼修改createsql(建表sql),URL (數(shù)據(jù)庫地址),USER (數(shù)據(jù)庫連接用戶),PASSWORD(數(shù)據(jù)庫連接密碼)

public class LogTableCreate extends TimerTask {	
	private static final Log log = LogFactory.getLog(LogTableCreate.class);
	public static final String TBASENAME="tb_log";
		private String createsql = " (\r\n" + 
				" `ID` varchar(64) NOT NULL COMMENT '主鍵id',\r\n" + 
				" `userid` varchar(255) DEFAULT NULL COMMENT '用戶id',\r\n" + 
				" `username` varchar(255) DEFAULT NULL COMMENT '用戶姓名',\r\n" + 
				" `useridcard` varchar(255) DEFAULT NULL COMMENT '用戶身份證號碼',\r\n" + 
				" `realname` varchar(64) DEFAULT NULL COMMENT '真實姓名',\r\n" + 
				" `logintime` varchar(255) DEFAULT NULL COMMENT '登錄時間',\r\n" + 
				" `exittime` varchar(64) DEFAULT NULL COMMENT '退出時間',\r\n" + 
				" `ippath` varchar(255) DEFAULT NULL COMMENT 'ip地址',\r\n" + 
				" `macpath` varchar(255) DEFAULT NULL COMMENT 'mac地址',\r\n" + 
				" `usercreatedtime` varchar(255) DEFAULT NULL COMMENT '用戶創(chuàng)建時間',\r\n" + 
				" `userbusidaddress` varchar(255) DEFAULT NULL COMMENT '用戶錢包地址',\r\n" + 
				" `member` int(11) DEFAULT NULL COMMENT '是否是會員',\r\n" + 
				" `membertype` int(11) DEFAULT NULL COMMENT '會員類型',\r\n" + 
				" `spare1` varchar(255) DEFAULT NULL,\r\n" + 
				" `spare2` varchar(255) DEFAULT NULL,\r\n" + 
				" `spare3` varchar(255) DEFAULT NULL,\r\n" + 
				" PRIMARY KEY (`ID`)\r\n" + 
				")";	
 private SimpleDateFormat sdyyyy = new SimpleDateFormat("yyyy");
 private SimpleDateFormat sdmm = new SimpleDateFormat("MM");
 private static final String URL = "";
 private static final String USER = "";
 private static final String PASSWORD = "";
 //得到表名
 public static String gettable() {
 	Date date = new Date();
 	LogTableCreate logTableCreate=new LogTableCreate();
		String yyyy = logTableCreate.sdyyyy.format(date);
		String mm = logTableCreate.sdmm.format(date);
		String nmm = logTableCreate.getNextMM(mm);
		return TBASENAME+yyyy+mm;
 }
 
	//得到下一個月
	private String getNextMM(String mm){
		String nmm = "";
		int imm = Integer.parseInt(mm);
		if(imm>=12){
			nmm = "01";
		}else{
			imm++;
			if(imm>9)
				nmm = ""+imm;
			else
				nmm = "0"+imm;
		}
		return nmm;
	} 
	@Override
	public void run() {
		Date date = new Date();
		String yyyy = sdyyyy.format(date);
		String mm = sdmm.format(date);
		String nmm = getNextMM(mm);
		
		String nyyyy = "";
		if("01".equals(nmm)){
			nyyyy = ""+(Integer.parseInt(yyyy)+1);
		}else{
			nyyyy = yyyy;
		}
		
		log.info("日志表檢查及創(chuàng)建:"+yyyy+" - "+mm+" | "+nyyyy+"-"+nmm);
		String temp = TBASENAME+yyyy+mm; //日志表名稱
		boolean has = false;
	
		try{
			has = hasTable(temp);
		}catch(Exception e){
			log.error("當(dāng)前操作日志表是否存在判斷時發(fā)生錯誤:"+e.getMessage());
			return;
		}
		if(!has){
			try{
				createTable(temp);
			}catch(Exception e){
				log.error("當(dāng)前操作日志表創(chuàng)建時發(fā)生錯誤:"+e.getMessage());
				return;
			}
		}
		temp = TBASENAME+nyyyy+nmm;
		has = false;
		try{
			has = hasTable(temp);
		}catch(Exception e){
			log.error("待用日志表是否存在判斷時發(fā)生錯誤:"+e.getMessage());
			return;
		}
		if(!has){
			try{
				createTable(temp);
			}catch(Exception e){
				log.error("待用日志表創(chuàng)建時發(fā)生錯誤:"+e.getMessage());
				return;
			}
		}
		
		log.info("日志表檢查及創(chuàng)建結(jié)束");
	}
	
	public boolean hasTable(String table) throws Exception{
		Class.forName("com.mysql.jdbc.Driver");
  //2. 獲得數(shù)據(jù)庫連接
 Connection conn = DriverManager.getConnection(URL, USER, PASSWORD);
		boolean state = false;
		DatabaseMetaData meta = conn.getMetaData();
		ResultSet set;
		set = meta.getTables(null, null, table.toLowerCase(), null);
		while (set.next()) {
			state = true;
			break;
		}
		Statement stmt = null;
		try{
			stmt = conn.createStatement();
		}catch(Exception e){
			log.error("檢查日志表是否存在時發(fā)生錯誤:"+e.getMessage());
			throw e;
		}finally{
			if(stmt!=null)
				try {
					stmt.close();
				} catch (Exception e) {
					//e.printStackTrace();
				}
		}
		conn.close();
		return state;
	}
	public void createTable(String table)throws Exception{
		try{
		Class.forName("com.mysql.jdbc.Driver");
	  //2. 獲得數(shù)據(jù)庫連接
	 Connection conn = DriverManager.getConnection(URL, USER, PASSWORD);
		String sql = "create table "+table+createsql;
		Statement stmt = null;
		stmt = conn.createStatement();
		stmt.execute(sql);
		}catch(Exception e){
			log.error("初始化日志表時發(fā)生錯誤:"+e.getMessage());
			throw e;
		}
	}
}

補充:java水平分表_Java開發(fā)分庫分表需要解決的問題及mycat是怎樣實現(xiàn)分庫分表的

引言

從字面上簡單理解,就是把原本存儲于一個庫的數(shù)據(jù)分塊存儲到多個庫上,把原本存儲于一個表的數(shù)據(jù)分塊存儲到多個表上。

數(shù)據(jù)庫中的數(shù)據(jù)量不一定是可控的,在未進行分庫分表的情況下,隨著時間和業(yè)務(wù)的發(fā)展,庫中的表會越來越多,表中的數(shù)據(jù)量也會越來越大,相應(yīng)地,數(shù)據(jù)操作,增刪改查的開銷也會越來越大;

另外,由于無法進行分布式式部署,而一臺服務(wù)器的資源(CPU、磁盤、內(nèi)存、IO等)是有限的,最終數(shù)據(jù)庫所能承載的數(shù)據(jù)量、數(shù)據(jù)處理能力都將遭遇瓶頸。

分庫分表的必要性

首先我們來了解一下為什么要做分庫分表。在我們的業(yè)務(wù)(web應(yīng)用)中,關(guān)系型數(shù)據(jù)庫本身比較容易成為系統(tǒng)性能瓶頸,單機存儲容量、連接數(shù)、處理能力等都很有限,數(shù)據(jù)庫本身的“有狀態(tài)性”導(dǎo)致了它并不像Web和應(yīng)用服務(wù)器那么容易擴展。那么在我們的業(yè)務(wù)中,是否真的有必要進行分庫分表,就可以從上面幾個條件來考慮。

單機儲存容量。您的數(shù)據(jù)量是否在單機儲存中碰到瓶頸。比如餓了么一天產(chǎn)生的用戶行為數(shù)據(jù)就有24T,那么在傳統(tǒng)的單機儲存中肯定是不夠的。

連接數(shù)、處理能力。在我們的用戶量達(dá)到一定程度時,特定時間的并發(fā)量又成了一個大問題,在一個高并發(fā)的網(wǎng)站中秒級數(shù)十萬的并發(fā)量都是很正常的。在普通的單機數(shù)據(jù)庫中秒級千次的操作問題都很大。

所以在我們進行分庫分表之前我們最好考慮一下,我們的數(shù)據(jù)量是不是夠大,并發(fā)量是不是夠大。如果您的回答是肯定的,那我們就開始做吧。

事務(wù)問題

解決事務(wù)問題目前有兩種可行的方案:分布式事務(wù)和通過應(yīng)用程序與數(shù)據(jù)庫共同控制實現(xiàn)事務(wù)下面對兩套方案進行一個簡單的對比。

方案一:使用分布式事務(wù)

優(yōu)點:交由數(shù)據(jù)庫管理,簡單有效

缺點:性能代價高,特別是shard越來越多時

方案二:由應(yīng)用程序和數(shù)據(jù)庫共同控制

原理:將一個跨多個數(shù)據(jù)庫的分布式事務(wù)分拆成多個僅處 于單個數(shù)據(jù)庫上面的小事務(wù),并通過應(yīng)用程序來總控 各個小事務(wù)。

優(yōu)點:性能上有優(yōu)勢

缺點:需要應(yīng)用程序在事務(wù)控制上做靈活設(shè)計。如果使用 了spring的事務(wù)管理,改動起來會面臨一定的困難。

分庫分表的實施策略。

分庫分表有垂直切分和水平切分兩種。

3.1 何謂垂直切分,即將表按照功能模塊、關(guān)系密切程度劃分出來,部署到不同的庫上。

例如,我們會建立定義數(shù)據(jù)庫workDB、商品數(shù)據(jù)庫payDB、用戶數(shù)據(jù)庫userDB、日志數(shù)據(jù)庫logDB等,分別用于存儲項目數(shù)據(jù)定義表、商品定義表、用戶數(shù)據(jù)表、日志數(shù)據(jù)表等。

3.2 何謂水平切分,當(dāng)一個表中的數(shù)據(jù)量過大時,我們可以把該表的數(shù)據(jù)按照某種規(guī)則,例如userID散列,進行劃分,然后存儲到多個結(jié)構(gòu)相同的表,和不同的庫上。

例如,我們的userDB中的用戶數(shù)據(jù)表中,每一個表的數(shù)據(jù)量都很大,就可以把userDB切分為結(jié)構(gòu)相同的多個userDB:part0DB、part1DB等,再將userDB上的用戶數(shù)據(jù)表userTable,切分為很多userTable:userTable0、userTable1等,然后將這些表按照一定的規(guī)則存儲到多個userDB上。

3.3 應(yīng)該使用哪一種方式來實施數(shù)據(jù)庫分庫分表,這要看數(shù)據(jù)庫中數(shù)據(jù)量的瓶頸所在,并綜合項目的業(yè)務(wù)類型進行考慮。

如果數(shù)據(jù)庫是因為表太多而造成海量數(shù)據(jù),并且項目的各項業(yè)務(wù)邏輯劃分清晰、低耦合,那么規(guī)則簡單明了、容易實施的垂直切分必是首選。

而如果數(shù)據(jù)庫中的表并不多,但單表的數(shù)據(jù)量很大、或數(shù)據(jù)熱度很高,這種情況之下就應(yīng)該選擇水平切分,水平切分比垂直切分要復(fù)雜一些,它將原本邏輯上屬于一體的數(shù)據(jù)進行了物理分割,除了在分割時要對分割的粒度做好評估,考慮數(shù)據(jù)平均和負(fù)載平均,后期也將對項目人員及應(yīng)用程序產(chǎn)生額外的數(shù)據(jù)管理負(fù)擔(dān)。

在現(xiàn)實項目中,往往是這兩種情況兼而有之,這就需要做出權(quán)衡,甚至既需要垂直切分,又需要水平切分。我們的游戲項目便綜合使用了垂直與水平切分,我們首先對數(shù)據(jù)庫進行垂直切分,然后,再針對一部分表,通常是用戶數(shù)據(jù)表,進行水平切分。

mycat是怎樣實現(xiàn)分庫分表的?mycat里面通過定義路由規(guī)則來實現(xiàn)分片表(路由規(guī)則里面會定義分片字段,以及分片算法)。分片算法有多種,你所說的hash是其中一種,還有取模、按范圍分片等等。在mycat里面,會對所有傳遞的sql語句做路由處理(路由處理的依據(jù)就是表是否分片,如果分片,那么需要依據(jù)分片字段和對應(yīng)的分片算法來判斷sql應(yīng)該傳遞到哪一個、或者哪幾個、又或者全部節(jié)點去執(zhí)行)

總結(jié)

以上就是我對Java開發(fā)分庫分表需要解決的問題及mycat是怎樣實現(xiàn)分庫分表的 問題及其優(yōu)化總結(jié),如有錯誤或未考慮完全的地方,望不吝賜教。

相關(guān)文章

  • Springboot+echarts實現(xiàn)可視化

    Springboot+echarts實現(xiàn)可視化

    這篇文章主要為大家詳細(xì)介紹了Springboot+echarts實現(xiàn)可視化,文中示例代碼介紹的非常詳細(xì),具有一定的參考價值,感興趣的小伙伴們可以參考一下
    2019-12-12
  • java實現(xiàn)合并兩個已經(jīng)排序的列表實例代碼

    java實現(xiàn)合并兩個已經(jīng)排序的列表實例代碼

    這篇文章主要介紹了java實現(xiàn)合并兩個已經(jīng)排序的列表實例代碼,有需要的朋友可以參考一下
    2013-12-12
  • JAVA線上常見問題排查手段(小結(jié))

    JAVA線上常見問題排查手段(小結(jié))

    這篇文章主要介紹了JAVA線上常見問題排查手段(小結(jié)),小編覺得挺不錯的,現(xiàn)在分享給大家,也給大家做個參考。一起跟隨小編過來看看吧
    2019-07-07
  • 淺析Spring?中?Bean?的理解與使用

    淺析Spring?中?Bean?的理解與使用

    這篇文章主要介紹了Spring?中?Bean?的理解與使用,本文給大家介紹的非常詳細(xì),對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值,需要的朋友可以參考下
    2023-03-03
  • mybatis一對多方式實現(xiàn)批量插入

    mybatis一對多方式實現(xiàn)批量插入

    這篇文章主要介紹了mybatis一對多方式實現(xiàn)批量插入,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教
    2023-11-11
  • java中a=a+1和a+=1的區(qū)別介紹

    java中a=a+1和a+=1的區(qū)別介紹

    這篇文章主要介紹了java中a=a+1和a+=1的區(qū)別,具有很好的參考價值,希望對大家有所幫助。如有錯誤或未考慮完全的地方,望不吝賜教
    2021-12-12
  • java實現(xiàn)雙層圣誕樹加修飾代碼示例

    java實現(xiàn)雙層圣誕樹加修飾代碼示例

    大家好,本篇文章主要講的是java實現(xiàn)雙層圣誕樹加修飾代碼示例,感興趣的同學(xué)趕快來看一看吧,對你有幫助的話記得收藏一下,方便下次瀏覽
    2021-12-12
  • 詳解SpringBoot如何優(yōu)雅的進行前后端通信

    詳解SpringBoot如何優(yōu)雅的進行前后端通信

    現(xiàn)在的項目基本上都是前后端分離的項目,如何打通前后端,接收前端傳過來的參數(shù)呢,下面小編就來和大家詳細(xì)介紹一下SpringBoot如何優(yōu)雅的進行前后端通信
    2024-03-03
  • 對SpringBoot項目Jar包進行加密防止反編譯的方案

    對SpringBoot項目Jar包進行加密防止反編譯的方案

    最近項目要求部署到其他公司的服務(wù)器上,但是又不想將源碼泄露出去,要求對正式環(huán)境的啟動包進行安全性處理,防止客戶直接通過反編譯工具將代碼反編譯出來,本文介紹了如何對SpringBoot項目Jar包進行加密防止反編譯,需要的朋友可以參考下
    2024-08-08
  • 利用java+mysql遞歸實現(xiàn)拼接樹形JSON列表的方法示例

    利用java+mysql遞歸實現(xiàn)拼接樹形JSON列表的方法示例

    這篇文章主要給大家介紹了關(guān)于利用java+mysql遞歸實現(xiàn)拼接樹形JSON列表的方法,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面跟著小編來一起看看吧。
    2017-08-08

最新評論