用的阿里云百炼大模型的 DeepSeek ,text-embedding-v4
开 32 个线程,失败率到 40%了。
阿里云的 RPM/TPM 限制的很低。
联系商务,商务放假了。
按照现在这个速度,2 亿数据跑完要半年了。
各位有没有批量处理数据向量化的好方法?
用批量接口,第二天拿结果
@106npo 感谢,原来还有这种异步的,我 OUT 了。
https://help.aliyun.com/zh/model-studio/batch-inference
和我一样,公司用 Azure foundry ,也有限制。春节没事干翻手册发现还有异步批量接口,回去就试试
线上服务的 embedding 和开源模型生成的正确性能差多少? 感觉只是将文本转成 token, 应该不会有太大区别, 还是说要图片文本一起转向量?
登录后可发帖和回复
用批量接口,第二天拿结果