[developers] Pet/ECL memory problems

[Francis Bond]

G'day,

we are getting some problems with cheap running out of memory and dying.
The surprising thing (to me) is that memlimit of 1000, or even 100
doesn't help, it still dies in the same way.  memlimit of 10 helps,
but then I suspect we will loose some parses.

Does anyone have any experience with this, or any suggestions?  It is
quite annoying, as it makes running batches rather difficult.

bond at aligote:~$ cheap -packing -limit=10000 
~/delphin/grammars/jp051120/japanese
reading `/home/bond/delphin/grammars/jp051120/pet/japanese.set'...
loading `/home/bond/delphin/grammars/jp051120/japanese.grm' (Jacy
(2005-11-20)) reading ME model
`/home/bond/delphin/grammars/jp051120/LXD-DEF-6.jp051120.mem'...
[60508 features]
136869 types in 3.6 s
だが 、 フィリピン 、 インドネシア 、 ロシア 、 中国 、 米国 、 スウェーデン 、 コロンビア など 十 カ国 から 専門 家 が
参加 、 金 の 採掘 や 工場 排水 による 水銀 汚染 が 各地 で 発生 し て いる こと を 印象づけ た 。
chunk_allocator::_core_alloc: Cannot allocate memory
couldn't mmap 1048576 bytes up (up = bc860000d, down = bc83c000d)
alloc: mmap problem
Console interrupt.
Top level.
MRS>
bond at aligote:~$
bond at aligote:~$ cheap -packing -limit=10000  -memlimit=1000
~/delphin/grammars/jp051120/japanese
reading `/home/bond/delphin/grammars/jp051120/pet/japanese.set'...
loading `/home/bond/delphin/grammars/jp051120/japanese.grm' (Jacy
(2005-11-20)) reading ME model
`/home/bond/delphin/grammars/jp051120/LXD-DEF-6.jp051120.mem'...
[60508 features]
136869 types in 3.5 s
だが 、 フィリピン 、 インドネシア 、 ロシア 、 中国 、 米国 、 スウェーデン 、 コロンビア など 十 カ国 から 専門 家 が
参加 、 金 の 採掘 や 工場 排水 による 水銀 汚染 が 各地 で 発生 し て いる こと を 印象づけ た 。
chunk_allocator::_core_alloc: Cannot allocate memory
couldn't mmap 1048576 bytes up (up = bc860000d, down = bc83c000d)
alloc: mmap problem
Console interrupt.
Top level.
MRS>


Of course, we could try and make our grammar less ambiguous, but where
is the fun in that...

--
Francis Bond  <www.kecl.ntt.co.jp/icl/mtg/members/bond/>
NTT Communication Science Laboratories | Machine Translation Research Group