linux搭建gfs系統(tǒng) iscsi+GFS 實現(xiàn)網絡存儲

虛擬機搭建gfs系統(tǒng)
系統(tǒng)環(huán)境:CentOS release 5.5 – 2.6.18-194.el5
gfs節(jié)點1:192.168.1.231 gfs1
gfs節(jié)點2:192.168.1.232 gfs2
gfs節(jié)點3:192.168.1.233 gfs3
iscsi-target存儲設備:192.168.1.240 iscsi-storage (IP對應主機名)
GFS 簡要說明,它有兩種:
1. Google文件系統(tǒng):GFS是GOOGLE實現(xiàn)的是一個可擴展的分布式文件系統(tǒng),用于大型的、分布式的、對大量數(shù)據進行訪問的應用。它運行于廉價的普通硬件上,但可以提供容錯功能。它可以給大量的用戶提供總體性能較高的服務。欲了解更多,可以訪問:http://www.codechina.org/doc/google/gfs-paper/introduction.html
2. Redhat 的GFS(Global File System)
GFS(Global File System)自己以本地文件系統(tǒng)的形式出現(xiàn)。多個Linux機器通過網絡共享存儲設備,每一臺機器都可以將網絡共享磁盤看作是本地磁盤,如果某臺機器對 某個文件執(zhí)行了寫操作,則后來訪問此文件的機器就會讀到寫以后的結果。可以根據對性能或是可擴展性,或者以經濟性多個原則進行不同方案的部署。
GFS 主要組件,集群卷管理,鎖管理,集群管理,圍欄和恢復,集群配置管理。
本文主要介紹Redhat的GFS系統(tǒng)。
REDHAT CLUSTER SUITEWITH GFS :
RHCS(REDHAT CLUSTER SUITE)是一款能夠提供高性能、高可靠性、負載均衡、高可用性的集群工具集,一個集群通常有兩個或兩個以上的計算機(稱為“節(jié)點”或”成員“)共同執(zhí)行一個任務。
RHCS主要組件:
· 集群架構:
提供一個基本功能使節(jié)點作為集群工作在一起:配置文件管理,成員關系管理,鎖管理和柵設備。
· 高可用**管理:
提供節(jié)點失敗轉移服務,當一個節(jié)點失敗后將服務轉移到另一個節(jié)點上。
·集群管理工具:
通過配置和管理工具來配置和管理Red Hat集群。
· Linux Virtual Server (LVS)
LVS提供一個基于IP的負載均衡功能,通過LVS可以將客戶請求均勻的分配到集群節(jié)點上。
其它Red Hat集群組件:
· Cluster Logical Volume Manager (CLVM)
提供邏輯卷管理集群存儲。
· 集群管理器:
CMAN是一個分布式集群管理器(DLM),它運行在每一個集群節(jié)點上,CMAN通過監(jiān)視集群節(jié)點提供一個法定節(jié)點數(shù)(quorum),當集群 中有多于一半的節(jié)點處于活躍狀態(tài)時,此時符合法定節(jié)點數(shù),集群繼續(xù)可用,當只有有一半或少于一半的節(jié)點處于活躍狀態(tài)是則已達到不到法定節(jié)點數(shù),此時整個集 群變得不可用。CMAN通過監(jiān)控集群中節(jié)點來確定各節(jié)點的成員關系,當集群中的成員關系發(fā)生改變,CMAN會通架構中其它組件來進行相應的調整。
· DLM鎖管理:
分布式鎖管理器,它運行在所有的集群節(jié)點上,鎖管理是一個公共的基礎結構,為集群提供一種共享集群資源的管理機制,GFS通過鎖管理器使用鎖機制來同步訪問文件系統(tǒng)元數(shù)據,CLVM通過鎖管理器來同步更新數(shù)據到LVM卷和卷組。
· 數(shù)據的完整保證:
RHCS 通過 Fence設備從共享存儲切斷失效節(jié)點的I/O以保證數(shù)據的完整性。當CMAN確定一個節(jié)點失敗后,它在集群結構中通告這個失敗的節(jié)點(組播),fenced進程會將失敗的節(jié)點隔離,以保證失敗節(jié)點不破壞共享數(shù)據。
REDHAT集群配置系統(tǒng):
集群配置文件:(/etc/cluster/cluster.conf) 是一個XML文件,用來描述下面的集群特性:
集群名稱:列出集群名稱、集群配置文件版本和一個隔離時間,隔離相應時間當一個新節(jié)點加入或從集群中隔離時。
集群:列出集群中的每一個節(jié)點,指定節(jié)點名稱,節(jié)點ID,法定投票數(shù),和柵模式。
fence設備:定義fence設備。
管理資源:定義創(chuàng)建集群服務需要的資源。管理資源包括失敗轉移域,資源和服務。
iscsi的initiator與target簡要說明:
iSCSI(Internet SCSI)是2003年IETF(InternetEngineering Task Force,互聯(lián)網工程任務組)制訂的一項標準,這種指令集合可以實現(xiàn)在IP網絡上運行SCSI協(xié)議,使其能夠在諸如高速千兆以太網上進行路由選擇。 SCSI(Small Computer System Interface)是塊數(shù)據傳輸協(xié)議,在存儲行業(yè)廣泛應用,是存儲設備最基本的標準協(xié)議。iSCSI協(xié)議是一種利用IP網絡來傳輸潛伏時間短的SCSI 數(shù)據塊的方法,iSCSI使用以太網協(xié)議傳送SCSI命令、響應和數(shù)據。iSCSI可以用我們已經熟悉和每天都在使用的以太網來構建IP存儲局域網。通過 這種方法,iSCSI克服了直接連接存儲的局限性,使我們可以跨不同服務器共享存儲資源,并可以在不停機狀態(tài)下擴充存儲容量。
iSCSI的工作過程:當iSCSI主機應用程序發(fā)出數(shù)據讀寫請求后,操作系統(tǒng)會生成一個相應的SCSI命令,該SCSI命令在iSCSI Initiator層被封裝成iSCSI消息包并通過TCP/IP傳送到設備側,設備側的iSCSI Target層會解開iSCSI消息包,得到SCSI命令的內容,然后傳送給SCSI設備執(zhí)行;設備執(zhí)行SCSI命令后的響應,在經過設備側iSCSI Target層時被封裝成iSCSI響應PDU,通過TCP/IP網絡傳送給主機的iSCSI Initiator層,iSCS Initiator會從iSCSI響應PDU里解析出SCSI響應并傳送給操作系統(tǒng),操作系統(tǒng)再響應給應用程序。要實現(xiàn)iSCSI讀寫,除了使用特定硬設 備外,也可透過軟件方式,將服務器仿真為iSCSI的發(fā)起端(Initiator)或目標端(target),利用既有的處理器與普通的以太網絡卡資源實現(xiàn)iSCSI的連接。
本文均已軟件方式在Centos5.5虛擬機上實現(xiàn)gfs功能!
一、在192.168.1.240上安裝iscsi的target端:
[root@iscsi-storage ~]#yum install scsi-target-utils (注意:scsi前面沒有字母i)
(使用centos默認的yum源,將會安裝軟件scsi-target-utils-0.0-6.20091205snap.el5_5.3)
[root@iscsi-storage ~]#yum install libibverbs-devel libibverbs librdmacm librdmacm-devel
如果沒有安裝以上軟件,則/var/log/messages里將會有以下報錯:
iscsi-storage tgtd: libibverbs.so: cannot open shared object file: No such file or
directory – iser transport not used
iscsi-storage tgtd:librdmacm.so: cannot open shared object file: No such file or directory – iser
transport not used
磁盤sda裝著系統(tǒng),磁盤sdb用來存儲,對其進行分區(qū)。
[root@iscsi-storage ~]# fdisk /dev/sdb
本人分成/dev/sdb1 3G , /dev/sdb2 7G.
分區(qū)完成后不用格式化分區(qū),執(zhí)行命令partprobe讓系統(tǒng)重新讀取分區(qū)表,而不用重啟系統(tǒng)。
[root@iscsi-storage ~]# partprobe
scsi-targe-utils裝完后的服務名為tgtd,啟動它,并設置為開機啟動。
[root@iscsi-storage ~]# service tgtd start
Starting SCSI target daemon: Starting target framework daemon
[root@iscsi-storage ~]# chkconfig tgtd on
接下來建立target device. 在centos5中使用tgtadm指令來設置而不是4當中的 vi /etc/ietd.conf.
tgtadm命令的參數(shù)有點難記,但是scsi-target-utils套件中包含了利用tgtadm指令建立target device的步驟,我們可以參照文件來設置:/usr/share/doc/scsi-target-utils-0.0/README.iscsi
本人欲新增iqn名為iqn.2011-01.com.chinaitv:rhcs-storage的target device.
=====================================================================================
iqn (iSCSI Qualified Name)格式通常如下:
格式
意義
范例
yyyy-mm
年份-月份
2011-01
reversed domain name
把域名名稱反過來寫,通常把公司的域名反過來寫
com.chinaitv
identifier
識別字,通常注明這個存儲空間的用途
rhcs-storage
=====================================================================================
新增target device命令如下:
# tgtadm --lld iscsi --op new --mode target --tid 1 -T iqn.2011-01.com.chinaitv:rhcs-storage
執(zhí)行后,利用如下命令來查看target device:
#tgtadm --lld iscsi --op show --mode target
將起初新建的分區(qū)加入target device。
# tgtadm --lld iscsi --op new --mode logicalunit --tid 1 -lun 1 -b /dev/sdb1
查看加入target device后的輸出內容:
# tgtadm --lld iscsi --op show --mode target
設置可以訪問存取此target device的initiator節(jié)點。本機允許gfs1 gfs2 gfs3存取,設置如下:
#tgtadm --lld iscsi --op bind --mode target --tid 1 -I 192.168.1.231
#tgtadm --lld iscsi --op bind --mode target --tid 1 -I 192.168.1.232
#tgtadm --lld iscsi --op bind --mode target --tid 1 -I 192.168.1.233 (I為大寫的i)
(如果允許所有的initiators存取的話,可以將ip換成ALL,如下:
#tgtadm --lld iscsi --op bind --mode target --tid 1 -I ALL
如果需要移除則需將bind換成unbind即可,例如
#tgtadm --lld iscsi --op unbind --mode target --tid 1 -I 192.168.1.233)
本次操作只使用sdb1來試驗存儲,因此只加入sdb1,如果需將多個分區(qū)用來存儲的話可以如下操作:
tgtadm --lld iscsi --op new --mode target --tid 1 -T iqn.2011-01.com.chinaitv:rhcs-storage
tgtadm --lld iscsi --op new --mode target --tid 2 -T iqn.2011-01.com.chinaitv:rhcs-storage2
tgtadm --lld iscsi --op new --mode logicalunit --tid 1 -lun 1 -b /dev/sdb1
tgtadm --lld iscsi --op new --mode logicalunit --tid 2 -lun 1 -b /dev/sdb2
tgtadm --lld iscsi --op bind --mode target --tid 1 -I ip
tgtadm --lld iscsi --op bind --mode target --tid 2 -I ip
注意:如果重啟tgtd服務的話,上面配置全部將會消失,因此不要隨便重啟,否則需要重新按上面步驟配置,為了在下一次開機自動運行,可以把上面的命令添加到/etc/rc.local文件里面。
首先在三個節(jié)點機hosts文件末尾添加以下內容: 上的
#vi /etc/hosts
二、安裝iscsi-initiator-utils,在節(jié)點機上安裝
#yum install iscsi-initiator-utils
安裝需要的軟件包
[root@gfs1 ~]# yum install -y cman gfs-utils kmod-gfs kmod-dlm cluster-snmp lvm2-cluster rgmanager
指定initiator alias name
#echo "InitiatorAlias=gfs1" >> /etc/iscsi/initiatorname.iscsi
創(chuàng)建cluster.conf配置文件,安裝完成后并沒有此文件,需自己創(chuàng)建:
#vi /etc/cluster/cluster.conf
<?xml version="1.0"?>
<cluster name="GFSCluster" config_version="1">
##這一行定義了cluster的名稱,其中config_version是表示該配置文件被配置的次數(shù)
##(在RedHat Cluster中,各個節(jié)點是同配置版本數(shù)值也就是配置次數(shù)最高的配置文件進行學習同步報)
<clusternodes>
<clusternode name="gfs1" votes="1" nodeid="1">
##這一行定義了cluster節(jié)點的名稱,節(jié)點id以及投票權,節(jié)點名一般就是節(jié)點的主機名
<fence>
<method name="single">
<device name="node1" nodename="gfs1"/>
</method>
</fence>
</clusternode>
<clusternode name="gfs2" votes="1" nodeid="2">
<fence>
<method name="single">
<device name="node2" nodename="gfs2"/>
</method>
</fence>
</clusternode>
<clusternode name="gfs3" votes="1" nodeid="3">
<fence>
<method name="single">
<device name="node3" nodename="gfs3"/>
</method>
</fence>
</clusternode>
</clusternodes>
<fencedevices>
<fencedevice name="node1" agent="fence_manual"/>
<fencedevice name="node2" agent="fence_manual"/>
<fencedevice name="node3" agent="fence_manual"/>
</fencedevices>
<rm>
<failoverdomains/>
<resources/>
</rm>
</cluster>
(fence也是RedHat Cluster的產物,沒有它GFS也沒法工作,fence的作用就是當一個節(jié)點宕掉(和cluster斷掉聯(lián)系)后,其他的正常節(jié)點會通過fence設 備來把宕掉的設備fence掉,把宕掉的設備踢出cluster保證整個cluster的正常運行,而fence設備一般是服務器自帶硬件設備,如hp的 ilo口,IBM和dell的ipmi等等,由于服務器硬件的不同,導致不同的fence設備的配置方法不同,我這里為虛擬機沒有fence設備,因此采 用fence_manual的方法來手工設置,手工fence的功能是:當一個節(jié)點宕掉后我們需要在正常的節(jié)點上輸入命令:“# fence_ack_manual -n 宕掉的節(jié)點名 ” 來把cluster的主機隔離掉,才能讓正常的節(jié)點正常工作?,F(xiàn)在本人對cluster.conf了解的也并不是非常的熟悉,故不能給出更詳細的解答,不 過可以輸入命令:man 5 cluster.conf查看幫助文件。在各個節(jié)點機上都需創(chuàng)建此cluster.conf文件。)
(注:配置文件并不是非常的標準,自己根據需要還可以添加更多的內容與修改,這里只是一個簡單的例子)
啟動iscsi daemon
#service iscsi start
#chkconfig iscsi on
利用iscsiadm命令探測iscsi device:
# iscsiadm -m discovery -t sendtargets -p 192.168.1.240:3260
192.168.1.240:3260,1 iqn.2011-01.com.chinaitv:rhcs-storage
登入iscsi target
#iscsiadm -m node -T iqn.2011-01.com.chinaitv:rhcs-storage -p 192.168.1.240:3260 -l
Logging in to [iface: default, target: iqn.2011-01.com.chinaitv:rhcs-storage, portal: 192.168.1.240,3260]
Login to [iface: default, target: iqn.2011-01.com.chinaitv:rhcs-storage, portal: 192.168.1.240,3260]: successful
登入成功后,利用fdisk -l可以發(fā)現(xiàn)多處兩個硬盤分區(qū)。
(若想退出則使用:iscsiadm -m node -T iqn.2011-01.com.chinaitv:rhcs-storage -p 192.168.1.240:3260 -u)
在該節(jié)點上創(chuàng)建一個名為gfsvg的 LVM 卷組
#pvcreate -ff /dev/sdb
#vgcreate gfsvg /dev/sdb
列出VG大?。?/p>
#vgdisplay gfsvg |grep “Total PE “
Total PE 717
創(chuàng)建lv
# lvcreate -l 717 -n gfs gfsvg
Logical volume “gfs” created
# cman_tool status | grep “Cluster Name”
cman_tool: Cannot open connection to cman, is it running ?
原因是沒有啟動服務,啟動服務:
# service cman start
在該節(jié)點上創(chuàng)建一個GFS卷,格式化GFS 文件系統(tǒng),通過命令:
gfs_mkfs -p lock_dlm -t ClusterName:FSName -j Number BlockDevice
格式化gfs文件格式:
-p 這個參數(shù)后邊跟的是gfs鎖機制,一般情況下就用lock_dlm
-t 后邊是ClusterName:FSName
其中ClusterName是cluster名,就是cluster.conf配置文件中指定的cluster名,F(xiàn)SName是給新格式化好的gfs分區(qū)的名字
-j 代表是journal的個數(shù),一般情況是2個除非一些特殊情況否則不用再單作調整
BlockDevice 就是要被格式化的設備名稱。
下面是一個格式化GFS命令的實例:
#gfs_mkfs -p lock_dlm -t GFSCluster:gfs -j 3 /dev/gfsvg/gfs
載入相應的gfs模塊,并查看lv是否成功
# modprobe gfs
# modprobe gfs2
# chkconfig gfs on
# chkconfig gfs2 on
# chkconfig clvmd on
# /etc/init.d/gfs restart
# /etc/init.d/gfs2 restart
# /etc/init.d/clvmd restart
# lvscan
ACTIVE ‘/dev/gfsvg/gfs’ [2.80 GB] inherit ##表示成功
把新建的邏輯磁盤掛載到本地:
#mount -t gfs /dev/gfsvg/gfs /opt
#df -h
進入/opt目錄,建立新文件(之后到新節(jié)點上掛載,以作驗證是否gfs創(chuàng)建并掛載成功)
到gfs2節(jié)點和gfs3節(jié)點上分別執(zhí)行以下操作
# modprobe gfs
# modprobe gfs2
# /etc/init.d/gfs restart
# /etc/init.d/gfs2 restart
# /etc/init.d/clvmd restart
#chkconfig –add cman
#chkconfig –add clvmd
#chkconfig –add gfs
#chkconfig –level 35 cman on
#chkconfig –level 35 clvmd on
#chkconfig –level 35 gfs on
# lvscan
#mount /dev/gfsvg/gfs /opt
進入/opt目錄查看是否有之前在gfs1上建立的文件file1
如圖所示成功,可以在/opt目錄里進行任何操作,三臺機器將會保持一致,這樣就達到了在一臺機器上操作,其他機器保持同步的目的,用來提高可用性,當gfs1出了問題后,gfs2和gfs3同樣可以用來提供服務!可以在各節(jié)點機器上執(zhí)行命令clustat來查看gfs集群各節(jié)點的活動狀態(tài):
同樣可以執(zhí)行以下命令來檢查是否連接成功
# ccs_test connect
Connect successful.
Connection descriptor = 9600
檢查一下是否正常
#ccs_tool lsnode
#ccs_tool lsfence
#cman_tool services
注:在gfs2和gfs3節(jié)點上必須啟動clvmd服務,不然無法掛載/dev/gfsvg/gfs設備。
如果要在存儲服務器上即本實驗的iscsi-storage 上,如果有外部節(jié)點連接著此存儲,要想停止tgtd(service tgtd stop)服務, 有如下提示:
Stopping SCSI target daemon: Stopping target framework daemon
Some initiators are still connected – could not stop tgtd
表示無法停止,而采取殺掉tgtd的pid的方法來停止時,在此用service tgtd start來啟動tgtd服務的時候,有如下的提示:
實際上tgtd并沒有啟動成功,用ps查看是查看不到tgtd服務進程的,要想解決此問題,是因為有個/var/lock/subsys/tgtd文件存在,只需刪除掉即可。
# rm /var/lock/subsys/tgtd
在節(jié)點機上,如果想開機自動掛載則修改/etc/fstab文件,加入以下內容:
/dev/mapper/gfsvg-gfs /opt gfs defaults 0 0
本人在虛擬機上部署此gfs集群存儲的時候,碰到很多問題,在查閱各種資料后才得以實現(xiàn)虛擬機上的gfs,也花費了很長的時間,其中就有很多的報錯,舉個例子:
Jan 19 04:04:00 gfs1 ccsd[19610]: Cluster is not quorate. Refusing connection.
Jan 19 04:04:00 gfs1 ccsd[19610]: Error while processing connect: Connection refused
Jan 19 04:04:01 gfs1 dlm_controld[18685]: connect to ccs error -111, check ccsd or cluster status
此報錯跟fence的啟動有關系,這是因為我 在第一個節(jié)點上啟動cman的時候fencing無法啟動,原因在于要開啟fence功能,必須多個機器節(jié)點都開啟了,單獨開啟一個的時候他是不生效的, 也就是說必須有一半的fence都開啟了才能生效,因此需在多臺節(jié)點上執(zhí)行service cman start 這樣才能夠快速的解決fenc的啟動問題。
最后疑問:
1 查看target的狀態(tài)總是ready而不能得到running狀態(tài)
2 在輸入tgtd命令時總是有以下報錯:
[root@iscsi-storage ~]# tgtd
librdmacm: couldn’t read ABI version.
librdmacm: assuming: 4
CMA: unable to get RDMA device list ##注,是虛擬機故沒有rdma設備,下面socket就有點不理解
(null): iscsi_rdma_init(1217) cannot initialize RDMA; load kernel modules?
(null): iscsi_tcp_init(222) unable to bind server socket, Address already in use
(null): iscsi_tcp_init(222) unable to bind server socket, Address already in use
No available low level driver!
本文只是寫了個大概的框架,并非很完整,還有待完善,如朋友有更好的更改意見歡迎提出指正。這也是本人第一次接觸red hat cluster suite的gfs系統(tǒng),并把操作的經過記錄于此,方便大家與自己。
完畢!
歡迎大家拍磚–本人真誠的希望您能夠提出寶貴的意見,最好是能夠說出文章中的不足和錯誤之處,謝謝?。?!
文章資源轉載來自:http://suceo.sinaapp.com
相關文章
Fedora Linux 42 穩(wěn)定版發(fā)布: 帶來大量新功能和軟件更新
Fedora 42昨日發(fā)布,這是 Red Hat 贊助開發(fā)的杰出前沿 Linux 發(fā)行版的最新版,包含大量新功能和軟件更新,使其成為 2025 年上半年發(fā)布的一款出色的 Linux 操作系統(tǒng)之一,內2025-04-16如何在Linux查看硬盤信息? 查看Linux硬盤大小類型和硬件信息的5種方法
使用Linux系統(tǒng)的過程中,查看和了解硬盤信息是非常重要的工作,尤其是對于系統(tǒng)管理員而言,那么在Linux系統(tǒng)中如何查看硬盤信息?以下是具體內容介紹2025-03-12如何在 Linux 中查看 CPU 詳細信息? 3招輕松查看CPU型號、核心數(shù)和溫度
在日常運維工作中,獲取 CPU 信息是系統(tǒng)運維管理員常見的工作內容,無論是為了性能調優(yōu)、硬件升級還是僅僅滿足好奇心2025-03-11什么是 Arch Linux? 獨樹一幟的Arch Linux發(fā)行版分析
Arch Linux是為簡化,優(yōu)化,現(xiàn)代化,實用主義,用戶中心和多功能性而創(chuàng)建Linux發(fā)行版,究竟是什么讓 Arch 與眾不同?下面我們就來簡要解讀2025-02-19如何在Linux環(huán)境下制作 Win11裝機U盤?
一直用的linux辦公,想要將筆記本電腦從 Linux 系統(tǒng)切換回 Windows 11,我們可以制作一個win11裝機u盤,詳細如下2025-02-17Rsnapshot怎么用? 基于Rsync的強大Linux備份工具使用指南
Rsnapshot 不僅可以備份本地文件,還能通過 SSH 備份遠程文件,接下來詳細介紹如何安裝、配置和使用 Rsnapshot,包括創(chuàng)建每小時、每天、每周和每月的本地備份,以及如何進2025-02-06Linux Kernel 6.13發(fā)布:附更新內容及新特性解讀
Linux 內核 6.13 正式發(fā)布,新版本引入了惰性搶占支持,簡化內核搶占邏輯,通過減少與調度器相關的調用次數(shù),讓內核在運行時表現(xiàn)更優(yōu),從而提高效率2025-01-23五大特性引領創(chuàng)新! 深度操作系統(tǒng) deepin 25 Preview預覽版發(fā)布
今日,深度操作系統(tǒng)正式推出deepin 25 Preview版本,該版本集成了五大核心特性:磐石系統(tǒng)、全新DDE、Treeland窗口合成器、AI For OS以及Distrobox子系統(tǒng)2025-01-18Linux Mint Xia 22.1重磅發(fā)布: 重要更新一覽
Beta 版 Linux Mint“Xia” 22.1 發(fā)布,新版本基于 Ubuntu 24.04,內核版本為 Linux 6.8,這次更新帶來了諸多優(yōu)化和改進,進一步鞏固了 Mint 在 Linux 桌面操作系統(tǒng)領域的2025-01-16LinuxMint怎么安裝? Linux Mint22下載安裝圖文教程
Linux Mint22發(fā)布以后,有很多新功能,很多朋友想要下載并安裝,該怎么操作呢?下面我們就來看看詳細安裝指南2025-01-16