GoForum🌐 V2EX

趁过年假期跑 2 亿数据的向量,遇到 LLM 限流问题

hoky · 2026-02-17 13:37 · 0 次点赞 · 4 条回复

用的阿里云百炼大模型的 DeepSeek ,text-embedding-v4

开 32 个线程,失败率到 40%了。

阿里云的 RPM/TPM 限制的很低。

联系商务,商务放假了。

按照现在这个速度,2 亿数据跑完要半年了。

各位有没有批量处理数据向量化的好方法?

4 条回复
106npo · 2026-02-17 14:02
#1

用批量接口,第二天拿结果

hoky · 2026-02-17 14:32
#2

@106npo 感谢,原来还有这种异步的,我 OUT 了。

https://help.aliyun.com/zh/model-studio/batch-inference

volvo007 · 2026-02-17 15:32
#3

和我一样,公司用 Azure foundry ,也有限制。春节没事干翻手册发现还有异步批量接口,回去就试试

paopjian · 2026-02-17 17:22
#4

线上服务的 embedding 和开源模型生成的正确性能差多少? 感觉只是将文本转成 token, 应该不会有太大区别, 还是说要图片文本一起转向量?

添加回复
你还需要 登录 后发表回复

登录后可发帖和回复

登录 注册
主题信息
作者: hoky
发布: 2026-02-17
点赞: 0
回复: 0