本地启动 Falcon-180B
通过 Gradio 的 load 函数,我们可以在本地加载 HuggingFace 的 Spaces 上面的 demo。
那就运行 Falcon-180B 来试试吧。
创建 falcon_demo.py 文件,
cat << EOF > falcon_demo.py
import gradio as grdemo = gr.load("tiiuae/falcon-180b-demo",src="spaces",
)if __name__ == "__main__":demo.queue().launch(server_port=7861)
EOF
启动 falcon_demo.py,运行下面命令,
python falcon_demo.py
使用浏览器打开 http://127.0.0.1:7861/,访问 Falcon-180B,
问它几个问题试一试,发现会有回答中断的问题。
完结!