Python-基于fastapi实现SSE流式返回（类似GPT）

2023-12-20 18:37:07

最近在做大模型对话相关功能，需要将对话内容流式返回给前端页面（类似GPT的效果）。下面直接说下如何实现：

1.首先导入fastapi和sse流式返回所需要的包
from fastapi import APIRouter, Response, status
from sse_starlette.sse import EventSourceResponse

2.用EventSourceResponse来调用生成方法，在对话方法用yield推送对话内容

@api_router.post("/stream-chat")
def stream_chat(ask_form: ChatParam, response: Response):
    # 设置响应头部信息
    response.headers["Content-Type"] = "text/event-stream"
    response.headers["Cache-Control"] = "no-cache"
    return EventSourceResponse(stream_generate_text(ask_form, stream=True))
def stream_generate_text(ask_form: ChatParam, stream: bool = False):
    for res in model.chat(query=ask_form.prompt, stream=stream, historys=history, temperature=temperature):
        yield json.dumps(
            {
                "answer": res
            },
            ensure_ascii=False,
        )

3.返回效果

文章来源:https://blog.csdn.net/weixin_43976964/article/details/134331983
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。