https://developer.smartnews.com/blog/categories/minhash/ Recent content in Minhash on SmartNews Engineering Blog Hugo -- gohugo.io Mon, 05 Aug 2013 09:00:25 +0900 https://developer.smartnews.com/blog/2013/08/05/efficient-similarity-estimation-using-b-bit-minhash/ Mon, 05 Aug 2013 09:00:25 +0900 https://developer.smartnews.com/blog/2013/08/05/efficient-similarity-estimation-using-b-bit-minhash/ <p><a href="http://www.gocro.jp/" target="_blank">ゴクロ</a>の浜本です。ネットカフェでコードを書くのが好きです。</p> <p><a href="http://developer.smartnews.be/blog/2013/07/31/shakeflake-is-a-tool-for-generating-unique-id-numbers/" target="_blank">前回のエントリー</a>でも触れられていますが、<a href="https://www.smartnews.be/">SmartNews</a>はホットな話題をユーザにお届けするために、常時、膨大な数のツイートおよびURLをクロールしています。こうして収集した記事に対し、様々な分析が施されますが、その中でも重要な処理の1つに、記事の類似度判定があります。内容の似通った記事をインデックスから発見し、グループ化する処理です。</p> <p>毎秒、大量の新着記事が到着することから、この類似度判定は高速に実行する必要があります。また、インデックスを全てメモリに載せているので、類似度判定を実現する際の空間効率も要求されます。</p> <p>今回は、SmartNewsが高速かつ省スペースな類似度判定のために使用しているb-Bit MinHashと呼ばれる手法を紹介します。2年前に、PFIの岡野原さんが<a href="http://research.preferred.jp/2011/02/minhash/" target="_blank">非常に分かりやすい解説記事</a>を書かれており、本エントリーはこの記事を参考にさせていただきました。</p>