问题标签 [serving]

我有一个 github 的 incepiton pb 模型：“serving/tensorflow_serving/example/inception_saved_model.py”。我想通过 restful API 进行预测，但发现一条错误消息。我想知道如何做的论点“图像”或者什么是正确格式的数据？在此处输入图像描述

我使用 slim 包resnet_v2_152来训练分类模型。然后将其导出为 .pb 文件以提供服务。因为输入是图像，所以它将使用网络安全的 base64 编码进行编码。看起来像：

serialized_tf_example = tf.placeholder(dtype=tf.string, name='tf_example') decoded = tf.decode_base64(serialized_tf_example)

然后我用 base64 对图像进行编码，这样：

img_path = '/Users/wuyanxue/Desktop/not_emoji1.jpeg'

img_b64 = base64.b64encode(open(img_path, 'rb').read())

s = str(img_b64, encoding='utf-8')

s = s.replace('+', '-').replace(r'/', '_')

我的发布数据结构如下： post_data = { 'signature_name': 'predict', 'instances':[ { 'inputs': { 'b64': s } }] } 最后，我向该服务器发布一个 HTTP 请求：

res = requests.post('server_address', json=post_data)

它给了我：

'{ "error": "Failed to process element: 0 key: inputs of \\\'instances\\\' list. Error: Invalid argument: Unable to base64 decode" }'

我想知道怎么会遇到？是否有一些解决方案？

语境

为了测试我正在编写的 R 包的 Web 功能，我尝试使用该httpuv包在本地提供文件，以便我可以使用页面的脱机副本运行测试。

问题

但是，curl似乎不想玩得很好httpuv- 特别是，当尝试使用curl（例如，with curl::curl()or curl::curl_fetch_memory()）读取托管文件时，请求挂起，如果没有手动中断，最终会超时。

最小的例子

现在的进展

服务器启动后，curl -v 127.0.0.1:9359在终端上运行会按预期返回内容。此外，如果我打开一个新的 RStudio 实例并尝试curl::curl_fetch_memory()在那个新的 R 会话中使用（而旧的会话仍然打开），它会完美运行。

受此鼓舞，我已经玩callr了一段时间，想也许可以在某个后台进程中启动服务器，然后像往常一样继续。不幸的是，到目前为止，我在这种方法上还没有取得任何成功。

非常感谢任何见解或建议！

我有以下输出项目结构：

以及以下源项目结构：

以及以下 webpack 配置：

问题是我所有的图片网址都只是img/...，它可以index.html位于根目录但不适合子目录内的页面。如果我将他们的网址更改为绝对网址，/我认为问题将得到解决，但我不知道该怎么做。如果我在加载程序的名称选项前加上/，则根本无法访问图像。

例如，这就是我在内部需要图像的方式src/components/Portfolio/Masttech/template.pug：img(src=require('./img/pic__structure.png') 在提供图像时将其转换为img/pic__structure.7b94b5f.png，因此无法从输出img目录访问它，因为img文件夹位于根目录中，而页面位于portfolio/masttech文件夹中。

SageMaker 似乎给出了使用两个不同的服务堆栈来提供自定义 docker 图像的示例：

1. NGINX + Gunicorn + Flask
2. NGINX + TensorFlow 服务

有人可以向我解释一下（我对网络工程知之甚少）这些不同组件的职责吗？而且由于第二个堆栈只有两个组件而不是一个，我是否可以正确地假设 TensorFlow Serving 完成了 Gunicorn 和 Flask 的工作（无论可能是什么）？

最后，我读到可以同时使用 Flask 和 TensorFlow 服务。那么这会是 NGINX -> Gunicorn -> Flask -> TensorFlow Serving 吗？这有什么好处？

我正在寻找一些可能很简单的事情的帮助，拜托。我已经创建了一个 asp.net 核心 Web 应用程序（我从 Empty 选项开始）并且我正在逐步构建它。似乎我的css文件没有被读取或找到。当我启动应用程序时，我可以看到我的 html 页面看起来不像它应该的那样，并且当我在控制台下的 edge 中使用开发人员工具时，会出现“HTTP404：未找到 - 服务器没有找到与请求的 URI 匹配的任何内容（统一资源标识符）。GET - http://localhost:8888/css/site.css“错误，这表明我的 css 文件确实没有被读取或找到。现在，我的 css 文件位于项目根目录中名为“css”的文件夹下。当我说 root 时，我的意思是我刚刚创建了一个文件夹叫css，路径和Program.cs或者Startup.cs一样，我的项目里面没有wwwroot（好像asp.net core 2.2已经默认去掉了？），css文件夹也没有，如下我的html页面中的代码，我试图在“/css”之前添加〜但仍然没有。

提前感谢您的任何建议或指导。

弗朗切斯科

我在为我的文本分类模型提供服务时遇到问题Tensorflow 1.12。我tf.estimator.inputs.pandas_input_fn用来读取我的数据，并tf.estimator.DNNClassifier训练/评估。然后我想为我的模型服务。（提前道歉，在这里很难提供一个完整的工作示例，但它非常类似于 TF 在https://www.tensorflow.org/api_docs/python/tf/estimator/DNNClassifier提供的示例 ）

我目前正在用...保存我的模型

这实际上无法运行并出现错误：

我试图保存第二种方法：

这实际上有效，直到我尝试使用saved_model_cli. 一些输出saved_model_cli show --all --dir TEST_SERVING/1553879255/：

但现在我似乎无法测试它。

好的，让我们把它变成一个字节对象，把它改为b["What is going on"]and b["Help me"]...

任何想法/想法？谢谢！

就像标题一样。我想知道在使用 docker 运行 tensorflow 服务时如何选择一个指定的 GPU？

最近，我一直在使用 estimator 来训练和部署一个 tensorflow 模型，但是当我使用 tensorflow seving 部署模型（它是使用 estimator include 导出的serving_fn）tf.py_func时，出现了错误（见下文）。

我在 Github 上发现了这个问题，说 service can't support tf.py_func。

任何人都可以帮忙吗？

我想使用其他实现令牌功能tokenlizer(NLTK,Jieba)。

错误：

由于我没有足够的 GPU，我想在 spark 上部署一个大模型（例如 bert）来进行推理。现在我有两个问题。

1. 我将模型导出为 pb 格式并使用 SavedModelBundle 接口加载模型。

但是，我找不到为 hdfs 文件系统路径加载 pb 模型的方法

2. spark 环境的 Glibc 版本与我训练模型的 tensorflow 版本不兼容。无论如何要绕过这个？

我不确定这是在 spark 上提供 tensorflow 模型的好方法。任何其他建议表示赞赏！