巨大なインデックス

co-sakaです。こんにちは。

最近は、でかいインデックスの作成試験をしています。
PostgreSQL8.2.5, Ludia1.3.1, Senna1.0.9, Mecab0.96
これで、100,000文字50,000レコード(=15GByte)のインデックスを構築してみました。

結果、問題なく構築できます。
大きすぎるので、構築に時間がかかりますけど。
実際に使う場合はパーティション分割したほうが良いでしょう。
（パーティション分割すると高速に構築できます。）

となると、メーリングリストの件は何が問題になっているんだろ？
Linuxの1プロセスの限界使用メモリ2Gを超えてmallocしようとしたのが原因かな？
PostgreSQL, Ludia, Senna, MeCabは同一のプロセスになるから、
合計したメモリ使用量が2GByteを超えるとダメ。
ここらへんが関係してそうなんだけどな〜。