目前大模型在使用方面最大的长处就是聊天功能。在聊天中可以谈天说地。可以聊聊人生，可以聊聊历史，可以让它写一首七言绝句，也可作一篇洋洋洒洒的长篇报告。
如何才能与大模型进行沟通呢，一个通用的方法是openai协议，其实质就是用http来向大模型提问所获得回答。想用http，C++程序员第一时间想到的无疑就是curl库。现在github上有个项目叫openai-cpp，就是把curl用为作通信库，封装了主要的openai协议。ollama也支持openai协议，当然也可以用这个openai-cpp来对ollama进行通信，进而可与ollama支持的大模型进行通信。
openai-cpp的项目提供了各个功能的示例，其中，主要功能当然就是chat功能了。下面来谈谈openai-cpp的使用。openai-cpp的这个示例都是用cmake来管理和编译的，因我比较熟悉qt5的qmake，就用它来管理和编译示例项目。
拿openai-cpp的10-chat.cpp来说，它的代码非常简单如下所示
#include "openai.hpp"
#include <iostream>
int main() {
openai::start();
auto chat = openai::chat().create(R"(
{
"model": "gpt-3.5-turbo",
"messages":[{"role":"user", "content":"blah"}],
"max_tokens": 7,
"temperature": 0
}
)"_json);
std::cout << "Response is:\n" << chat.dump(2) << '\n';
}
如何在Qt5下运行这个代码呢。
首先，要把openai::start();替换为openai::start("ollama", "optional_organization",true,"http://127.0.0.1:11434/v1/");在这里，“ollama""optional_organization"两个参数可随便写。"http://127.0.0.1:11434/v1/"，固定为本地IP。可根据需要把IP改为其它的IP进行远程操作。
其次，以大家熟悉的windows平台为例，需要在Qt5项目的pro文件中，加入
LIBS += -L$$PWD/curl/lib -lcurl
并将从curl官网下的win64版的curl中的include，lib，拷贝到项目所在的目录下。
然后，在pro文件中加入
SOURCES += \
main.cpp
INCLUDEPATH += \
curl/include \
openai/nlohmann \
openai
最后，我们可用系统需要最小的qwen:7b大模型来测试。
将原代码中的
auto chat = openai::chat().create(R"(
{
"model": "gpt-3.5-turbo",
"messages":[{"role":"user", "content":"blah"}],
"max_tokens": 7,
"temperature": 0
}
)"_json);
改为
auto chat = openai::chat().create(R"(
{
"model": "qwen:7b",
"messages":[{"role":"user", "content":"hello"}],
"max_tokens": 7,
"temperature": 0
}
)"_json);
这样，就可以编译成功了。
在运行前，确认ollama已正确安装并已执行过ollama run qwen:7b命令，第一次执行这个命令，ollama会自动下载qwen:7b的大模型，可能时间较长，差不多4G大小，我的网络用了将近一小时。
试运行一下，有回答了。但回答显然是不全的。这时把"max_tokens": 7,一行改为"max_tokens": 1024,就可以回答全了。
来分析一下代码：
第一行代码，是包含openai-cpp的头文件，事实上，整个openai-cpp的项目，就一个头文件。
主要的代码就是auto chat = openai::chat().create()，括号里的内容是nlohmann的json库，这个库是基于std:string的库。同样，也就只是一个名为json.hpp头文件。代码中的写法是用宏定义的方法生成了一个json字串内容为
{
"model": "qwen:7b",
"messages":[{"role":"user", "content":"hello"}],
"max_tokens": 1024,
"temperature": 0
}
的nlohmann的json对象。这种写法作为示例程序很简洁明了，但如果要写成实用的代码则不太方便了。在上述10-chat.cpp中的加入两行
#include <nlohmann/json.hpp>
using json = nlohmann::json;
然后，就可使用nlohmann的json库了。
我是这样写的
json prompt;
prompt["model"] = "qwen:7b";
json msg_json;
msg_json["role"] = "user";
msg_json["content"] = "邓丽君是日本人吗？";
prompt["messages"].push_back(msg_json);
prompt["max_tokens"] = 1024;
prompt["temperature"] = 1.5;
这时，那个chat代码就可改为openai::chat.create(prompt);
这时，prompt就可填入任何你想问的问题。你会发现，用英文提问，回答的是英文，是中文提问，则回答中文。
这个json对象的参数中，有两个重要的参数。“max_tokens”，可以认为就是指定回答的内容长度，长度不够，则会出现回答不全的情况。"temperature"参数，是指定回答的随机性。10-chat的代码中是0，你会发现每次回答的内容都一样。事实上，查到的资料表明，这个参数的取值是在0~2之间。如我取的是1.5，随机性就已经很强了，同一个问题，回答的实质内容基本一样，但表达的文字不一样。给人的感觉就是大模型像个人在回答了，而不是机械的给出一个始终不变的标准答案。
接下来，我们来试试让大模型更像个人。向人提问，“什么最好”，正常人在回答这个问题时肯定不知道你问的哪个方面的问题，不知如何回答，但如果之前向这个人问过，“米饭好吃吗”，那这个人就可据此认为你问的“什么最好”应该是指什么最好吃。这就是上下文。openai同样也支持这个上下文。“messages"这个参数就是可以把你的提问保存下来，如果你能把大模型对这个问题的问答也保存下来，大模型就更能理解你的上下文关系了。
下面我把最终的完整代码贴出来供大家参考。
#include "openai.hpp"
using namespace openai;
#include <iostream>
#include <vector>
using namespace std;
#include <nlohmann/json.hpp>
using json = nlohmann::json;
#include <QDebug>
int main() {
auto& openai = openai::start("ollama", "optional_organization",true,"http://127.0.0.1:11434/v1/");
json prompt;
prompt["model"] = "qwen:7b";
json msg_json;
msg_json["role"] = "user";
msg_json["content"] = "邓丽君是日本人吗？";
prompt["messages"].push_back(msg_json);
prompt["max_tokens"] = 1024;
prompt["temperature"] = 1.5; //经试验，temperature取值在0~2之间有效
qDebug()<<"Q:"<<QString::fromStdString(msg_json["content"]);
auto chat = openai.chat.create(prompt);
//qDebug()<< "Response is:\n"<<QString::fromStdString(chat.dump(2));
string res = chat.dump(2);
//取出返回的json字串中的content内容关输出
json jr = json::parse(res);
// 先获取choices数组中的第一个元素（示例中只有一个元素）
json choice = jr["choices"][0];
// 再从对应的message对象中获取content字段
string role = choice["message"]["role"];
//qDebug()<<"role:"<<QString::fromStdString(role);
string content = choice["message"]["content"];
qDebug()<<"A:"<<QString::fromStdString(content);
//prompt["messages"].clear(); //实践证明，只是没有清除messages的内容，默认是上下文有效的。
//加入回答到上文中，这个添加似乎对AI联系上下文回答效果就是让AI接下来的问答知道是指邓丽君。与上文的效果相同。在有上文的情况下，看不出明显区别
msg_json["role"] = "assistant";
msg_json["content"] = content;
prompt["messages"].push_back(msg_json);
msg_json["role"] = "user";
msg_json["content"] = "她为什么总唱日本歌？";
prompt["messages"].push_back(msg_json);
qDebug()<<"Q:"<<QString::fromStdString(msg_json["content"]);
auto chat_1 = openai.chat.create(prompt);
res = chat_1.dump(2);
//qDebug()<< "Response is:\n"<<QString::fromStdString(res);
jr = json::parse(res);
// 先获取choices数组中的第一个元素（示例中只有一个元素）
choice = jr["choices"][0];
content = choice["message"]["content"];
qDebug()<<"A:"<< QString::fromStdString(content);
}
在代码中，使用了qDebug来在windows控制台上输出结果，这是因为这样做可以在windows的控制台上正确的输出utf-8编码的中文了。
为方便大家，我把完整的qt5下的项目上传以供大家正载
https://download.csdn.net/download/hugerat/90291612
该项目在curl/lib文件夹下，有一个名为libcurl-x64.dll的文件，要正常运示例，需将此文件拷贝到编译生成的exe文件的相同文件夹下，或者你的windows安装了libcurl并配置好了环境变量。由名字可知它是一个64位的文件，应此Qt5的项目在编译时，应选择64位的编译器，比如我用的是mingw 64-bit
