タグ別アーカイブ: 大規模データ処理実装

基本部分、作り込み、速度と精度の追求 全文検索エンジンの作成

前回は、大規模データ処理のノウハウの塊である全文検索技術についてまとめた。ここでは、基本部分、作り込み、速度と精度の追求である全文検索エンジンの作成について解説する。

続きを読む 基本部分、作り込み、速度と精度の追求 全文検索エンジンの作成

[課題]応用への道筋 はてなキーワードリンクの実装

前回は、理論・研究の実践投入であるアルゴリズムの実用化についてまとめた。ここでは、応用への道筋であるはてなキーワードリンクの実装について解説する。

続きを読む [課題]応用への道筋 はてなキーワードリンクの実装

理論・研究の実践投入 アルゴリズムの実用化

前回は、データサイズ、I/O高速化との関係を意識する 圧縮プログラミングについてまとめた。ここでは、理論・研究の実践投入であるアルゴリズムの実用化について解説する。

続きを読む 理論・研究の実践投入 アルゴリズムの実用化

[課題]整数データをコンパクトに持つ 圧縮プログラミング

前回は、大規模データ処理実践入門としてMySQLなどで処理できない規模のデータを対象に計算を行いたい場合の対処法についてまとめた。ここでは、データサイズ、I/O高速化との関係を意識する必要がある圧縮プログラミングの実装について解説する。

続きを読む [課題]整数データをコンパクトに持つ 圧縮プログラミング