PVE+TrueNAS+ZFS+虚拟网桥可行性方案

前言

想要一台NAS，看中了TrueNAS，但他的虚拟化功能太弱，常说的K3S。

那不如在PVE上安装TrueNAS，把TrueNAS作为物理硬盘的管理系统。将非系统盘的硬盘控制器直通给TrueNAS，由TrueNAS组ZFS池后用NFS共享，通过虚拟接口共享给PVE添加存储池，供PVE安装虚拟机时使用，能利用ZFS的快照功能，也能加强虚拟机的安全性。开启aio之路。

实验环境

类型 详细信息
CPU I5 8400
主板 华擎 Z370M Pro4
内存 64G
板载M.2 西数 SN770、512G
板载SATA 4T*3
PVE版本 7.4
TrueNAS版本 22.12.2

开始

1、创建网桥

创建的网桥不桥接任何网口，作为一个虚拟接口，用于TrueNAS和Proxmox nfs通信。（最高可以达40G的带宽）

2、开启iommu

在/etc/default/grub的启动行，添加intel_iommu=on

随后进行update-grub，
再进行 ，update-initramfs -u，重启生效。

3、创建TrueNAS

创建的时候，内存给够，以8G+1T1G的标准。机器类型选Q35，网络设备添加时选virtlo半虚拟化。如下图

4、直通板载SATA控制器给TrueNAS

注意，板载SATA名一般是芯片组+sata controller，不要把PVE系统盘直通给TrueNAS。

5、配置TrueNAS IP

测试结果

先在pve上安装iperf3，apt install iperf3 -y

1
2
3
4
root@aitojon::~# iperf3 -s
-----------------------------------------------------------
Server listening on 5201
-----------------------------------------------------------

iperf3已经集成在了TrueNAS上，可以直接使用

测试结果有38.6G的带宽

大概是25块HDD才能达到，对普通用户不会有瓶颈。