VSCode
使用VSCode SSH连接HPC
在VSCode中下载Remote - SSH
插件,下载好以后点击如下图的图标。
之后输入ssh myname@myip -p 6988
(这是HPC开发环境中提供的SSH连接),接下来输入HPC开发环境中提供的密码即可。
运行Python代码
VSCode打开命令行,使用Linux命令source /opt/miniconda3/bin/activate pytorch
激活HPC上已有的python环境。之后运行python my/path/to/test.py
直接运行目标python文件。
使用XShell连接HPC
新建连接
自定义一个名称
“主机”一栏写上服务器IP地址,例如
myip
“端口号”一栏写上端口,例如
6988
用户身份验证中的用户名为:
myname
,密码使用HPC开发环境中提供的密码。
使用XShell配合Xftp可以实现快捷从本地电脑向HPC文件系统中传输文件。
Jupyter
Jupyter设置python环境
分别打印出Jupyter中python的运行环境和pip的运行环境。
! which python
! which pip
方法一:通过下述命令可以新建Jupyter
kernel(python运行环境),设置好后再jupyter的右上角选择新建的kernel就好了。/usr/local/python3.9.2/bin/python3.9
使python解释器的位置,可以通过python代码的sys.executable
获取。
!/usr/local/python3.9.2/bin/python3.9 -m ipykernel install --user --name my_python392 --display-name "Python 3.9.2"
方法二:通过linux命令新建Jupyter
kernel。conda activate llm_env
激活目标环境,确保已经安装pip install ipykernel
,然后执行下述命令即可创建新的Jupyter
kernel,刷新Jupyter即可看见。
python -m ipykernel install --user --name llm_env --display-name "Python LLM env"
IntelliJ
Local Cache
JetBrain系列编译器好像都会默认把缓存存放在C盘中。
通过在JetBrain软件,比如IntelliJ的安装目录的bin文件夹下的idea.properties
文件新增下述内容可以将缓存目录更改。
# 修改缓存目录
idea.system.path=D:/JetBrains/Cache/system
idea.config.path=D:/JetBrains/Cache/config
idea.plugins.path=D:/JetBrains/Cache/plugins
idea.log.path=D:/JetBrains/Cache/logs
Gateway
封闭网络环境下的Gateway安装
如果服务器和本地电脑都受到互联网访问的限制。
- 服务器端软件的安装
Gateway属于IntelliJ Ultimate,需要在Linux服务器和本地都安装相应软件。本地安装好IntelliJ Ultimate然后确认“Remote Development”插件有被安装(应该是默认安装好的)。Linux(4核4GB运行内存)中从下述链接下载文件并解压:
https://www.jetbrains.com/idea/download/?section=linux
之后直接本地Windows启动IntelliJ Ultimate在“File”中选中“Remote Development…”,在创建SSH连接时选择上传刚才下载的.tar.gz文件,同时可以设置一下安装目录。然后服务器端的IntelliJ Ultimate Gateway就会被一键安装好。
- 本地Windows软件的安装
首先确保本地成功安装IntelliJ Ultimate。
接着下载以下四个文件并存放在任意目录中(如D:\JetBrains\IntelliJ_Remote\
):
https://download.jetbrains.com.cn/idea/code-with-me/JetBrainsClient-243.26053.27.jbr.win.zip
https://download.jetbrains.com.cn/idea/code-with-me/JetBrainsClient-243.26053.27.jbr.win.zip.sha256
之后Win + R
开启regedit,在计算机\HKEY_CURRENT_USER\SOFTWARE
下新建目录JetBrains\RemoteDev
,然后在其中新建两个“字符串值”:
名称:clientDownloadUrl
,数据:file:///D:/JetBrains/IntelliJ_Remote
;
名称:pgpPublicKeyUrl
,数据:file:///D:/JetBrains/IntelliJ_Remote
。
之后在编译器中正常点击建立连接即可。
正常连接后,Linux中会有两个jps进程Luncher和Main来运行这个连接。