要修改物理服务器的SSH端口，您可以按照以下步骤进行操作：
1. 登录到物理服务器。您可以通过SSH连接到服务器或使用物理终端。
2. 打开SSH配置文件。在大多数Linux发行版中，SSH配置文件位于`/etc/ssh/sshd_config`。
3. 使用文本编辑器（如vi或nano）打开SSH配置文件。
4. 在文件中找到`Port`行。默认情况下，该行应该是被注释掉的（以`#`开头）。
5. 删除注释符号`#`，并将端口号更改为您想要使用的新SSH端口。请确保选择一个未被其他服务使用的端口号。典型的SSH端口号是22，但您可以选择任何未被占用的端口号。
6. 保存并关闭文件。
7. 重新启动SSH服务以使更改生效。您可以使用以下命令来重新启动SSH服务：
- 在大多数Linux发行版中，使用`sudo systemctl restart sshd`命令。
- 在某些旧版本的Linux发行版中，使用`sudo service sshd restart`命令。
- 在某些Unix系统中，使用`sudo /etc/init.d/sshd restart`命令。
8. 确保防火墙允许新的SSH端口通过。如果您使用防火墙（如iptables或firewalld），请确保您已经配置防火墙允许新的SSH端口通过。
9. 尝试使用新的SSH端口连接到服务器。在SSH命令中，使用`-p`参数指定新的SSH端口号。例如，`ssh username@server_ip -p new_ssh_port`。
请注意，修改SSH端口是为了增加服务器的安全性，因为大多数攻击者会扫描默认的SSH端口。但是，更改SSH端口可能会导致一些连接问题，特别是如果您的服务器位于防火墙或网络设备后面。确保在更改SSH端口之前，测试并确保您可以成功连接到服务器。