通过LM studio可以方便的使用各种模型,使用LM提供的chat界面或者是使用python代码。
试试代码
在windows下使用python简单一试,例子直接复制LM界面上的代码:
- 用pip安装 openai包
- 在LM界面 Start Server
需要安装 openai包。
本地电脑是I7的CPU,但是没有独立显卡,提的问题范围越广,推理越慢,而且很明显看到上32G内存的必要性了。
第1次运行,AI给出了俩句子,再后面问它,就不出结果了。
使用chat
需要 Stop Server
AI 胡乱编了两句话来应付。
所以即使AI横行,也是需要会提问题、描述问题的人;用AI写小说,需要人给它一个好的奇思妙想。