问题标签 [annoy]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
indexing - Annoy 如何索引嵌入?
我正在尝试了解 Annoy Indexing 的工作原理。我参考了以下文档:
https ://github.com/spotify/annoy#how-does-it-work
https://cloud.google.com/solutions/machine -learning/building-real-time-embeddings-similarity-matching-system
这些文档解释了如何从 annoy 获取索引,但没有解释如何创建索引?
假设我有 3 维的句子嵌入矩阵(为简单起见)
查看许多资源使我在以下方面感到困惑:
- Annoy 会先索引这些,然后使用它来查找最近的邻居吗?
- 应用最近邻树,然后根据邻居进行索引?这似乎是最合适的一个。如果是那么它如何索引?我想知道它背后的算法..
dask - 如何在 RAM 有限的 Dask 上加载巨大的模型?
我想在 Dask 上加载一个模型(ANNOY 模型)。该模型的大小为 60GB,Dask RAM 仅为 2GB。有没有办法以分布式方式加载模型?