<div dir="ltr">I&#39;ve substituted ace/art steps into my pipeline and the resulting parse file includes the error &quot;post reduction lexical gap&quot;, for items without lexical coverage and no error otherwise. The profile loads in [incr tsdb()] and seems to behave nicely. Thanks everyone for helping with this.</div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Mon, Sep 30, 2019 at 10:54 AM Kristen Howell &lt;<a href="mailto:kphowell@uw.edu">kphowell@uw.edu</a>&gt; wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">Thanks, Woodley! I&#39;ll try using art... I can&#39;t believe I forgot about that option. I&#39;ll follow up if I still have problems.</div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Mon, Sep 30, 2019 at 10:31 AM Woodley Packard &lt;<a href="mailto:sweaglesw@sweaglesw.org" target="_blank">sweaglesw@sweaglesw.org</a>&gt; wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="auto"><div></div><div>I get the error field populated when I use “art” to record profiles.  Are you passing —tsdb-notes to ace?  It may help.</div><div><br></div><div>Woodley</div><div><br>On Sep 30, 2019, at 7:59 AM, Kristen Howell &lt;<a href="mailto:kphowell@uw.edu" target="_blank">kphowell@uw.edu</a>&gt; wrote:<br><br></div><blockquote type="cite"><div><div dir="ltr">Thanks Mike. You&#39;re right- the error information is showing up in stderr, rather than std out, so that is why PyDelphin isn&#39;t picking them up.<div>So it sounds like I&#39;m out of luck as far as generating profiles using Ace and then inspecting them with [incr tsdb()]. I will either need to use LBK/PET to parse, or look at the stderr from Ace to see my lexical coverage.</div><div>Unless Woodley, is there a way command/option in Ace to send parse errors to stdout?</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Fri, Sep 27, 2019 at 4:56 PM <a href="mailto:goodman.m.w@gmail.com" target="_blank">goodman.m.w@gmail.com</a> &lt;<a href="mailto:goodman.m.w@gmail.com" target="_blank">goodman.m.w@gmail.com</a>&gt; wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div class="gmail_default" style="font-family:arial,helvetica,sans-serif">Hi Kristen,</div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif"><br></div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif">The item file and the item schema in the relations file both have 15 fields, so I don&#39;t think there is disagreement there (although I had some encoding issues with the angled quotes on a comment in the relations file; i just fixed it manually).</div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif"><br></div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif">PyDelphin uses ACE&#39;s stdout protocols (see: <a href="https://pydelphin.readthedocs.io/en/latest/api/delphin.ace.html#ace-stdout-protocols" target="_blank">https://pydelphin.readthedocs.io/en/latest/api/delphin.ace.html#ace-stdout-protocols</a>). By default PyDelphin uses the --tsdb-stdout option of ACE to get as much information as ACE can provide. If ACE provides the :error information, PyDelphin will populate the corresponding field in a profile. From what I recall, however, ACE does not output this field as consistently as the LKB and PET, and sometimes it puts parsing errors on the stderr stream instead, which PyDelphin does not capture.</div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif"><br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Sat, Sep 28, 2019 at 4:53 AM Kristen Howell &lt;<a href="mailto:kphowell@uw.edu" target="_blank">kphowell@uw.edu</a>&gt; wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">Perhaps there is some disagreement between my item and relations files? I generated the item file using the xigt exporter. I believe this is the corresponding relation file (it&#39;s the one I point to when using the exporter). I&#39;ve attached both. I am creating the profile with the following steps (in python):<div> ts = itsdb.TestSuite(&#39;./unprocessed/wmb/&#39;)<br> ace.compile(&#39;./wmb/ace/config.tdl&#39;, &#39;./wmb/ace/wmb.dat&#39;)</div><div> with ace.AceParser(&#39;./wmb/ace/wmb.dat&#39;) as cpu:<br>        ts.process(cpu)<br>    ts.write(path=&#39;./output/processed/wmb&#39;r)<br><div><br></div></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Fri, Sep 27, 2019 at 1:06 PM Stephan Oepen &lt;<a href="mailto:oe@ifi.uio.no" target="_blank">oe@ifi.uio.no</a>&gt; wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">yes, the &#39;parse&#39; file (like the other files in a tsdb(1) database) is<br>
a textual encoding of a set of tuples.  what you quote looks<br>
suspiciously spartan to me, with only the first three fields filled<br>
and the number of &#39;readings&#39; filled in.  in a regular profile, i would<br>
expect a record of the initial and internal tokenization, various<br>
timings, and statistics about lexical instantiation and chart<br>
construction.  i am relatively sure that ACE does account for most of<br>
these, so i suspect that information is getting lost somewhere in your<br>
pipeline.<br>
<br>
oe<br>
<br>
On Fri, Sep 27, 2019 at 9:56 PM Kristen Howell &lt;<a href="mailto:kphowell@uw.edu" target="_blank">kphowell@uw.edu</a>&gt; wrote:<br>
&gt;<br>
&gt; Thank you Stephan. Would the &#39;parse&#39; relations be the lines the parse file? They each look something like this:<br>
&gt; 0@0@0@-1@@-1@@0@-1@-1@-1@-1@-1@-1@-1@-1@-1@-1@-1@-1@-1@-1@-1@-1@-1@-1@-1@-1@-1@-1@-1@-1@-1@-1@-1@-1@@@<br>
&gt; Perhaps this means that the error field among other things is not being populated?<br>
&gt; Then the question for Mike and/or Woodley would be if it is expected to be populated.<br>
&gt;<br>
&gt; On Fri, Sep 27, 2019 at 12:33 PM Stephan Oepen &lt;<a href="mailto:oe@ifi.uio.no" target="_blank">oe@ifi.uio.no</a>&gt; wrote:<br>
&gt;&gt;<br>
&gt;&gt; hi kristen,<br>
&gt;&gt;<br>
&gt;&gt; i had to peak at the [incr tsdb()] code myself; &#39;Browse Errors&#39; will<br>
&gt;&gt; extract all items where the &#39;error&#39; field (in the &#39;parse&#39; relation) is<br>
&gt;&gt; a non-empty string.  so, if nothing comes up there, presumably there<br>
&gt;&gt; either were not errors, or ACE does not populate that field?<br>
&gt;&gt;<br>
&gt;&gt; likewise, the pre-canned &#39;unproblematic&#39; condition amounts to &#39;error<br>
&gt;&gt; == &quot;&quot;&#39;, i.e. an empty string in that field.  to some degree, what to<br>
&gt;&gt; consider an &#39;error&#39; is arguably up to the parsing engine.  from<br>
&gt;&gt; memory, i believe that both the LKB and PET will generate some<br>
&gt;&gt; descriptive &#39;error&#39; string for example in case of missing lexical<br>
&gt;&gt; entries for some of the input tokens.<br>
&gt;&gt;<br>
&gt;&gt; it appears that ACE (or pyDelphin, not sure about the division of<br>
&gt;&gt; labor here) maybe simply does not populate the &#39;error&#39; field in the<br>
&gt;&gt; profiles that it generates?<br>
&gt;&gt;<br>
&gt;&gt; best wishes, oe<br>
&gt;&gt;<br>
&gt;&gt; On Fri, Sep 27, 2019 at 7:09 PM Kristen Howell &lt;<a href="mailto:kphowell@uw.edu" target="_blank">kphowell@uw.edu</a>&gt; wrote:<br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt; Hi Mike and Woodley (and others?),<br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt; I&#39;ve created some itsdb profiles using pydelphin and a grammar loaded in ace. I am trying to browse the profile in [incr tsdb()]. The results and coverage show up fine. However, when I try to browse errors, nothing happens. Also when I try to view items with lexical coverage (using tsdl condition--&gt; unproblematic and then browse --&gt; test items), I see all of the items, not just those with lexical coverage.<br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt; Is this expected to work with pydelphin profiles? If so, what might be missing? My profile contains non empty item, parse, result, relations, run files.<br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt; Thanks for your help,<br>
&gt;&gt; &gt; Kristen<br>
</blockquote></div>
</blockquote></div><br clear="all"><br>-- <br><div dir="ltr" class="gmail-m_-8284475467323318091gmail-m_4708553782351312697gmail-m_-1189859641156111010gmail_signature">-Michael Wayne Goodman</div>
</blockquote></div>
</div></blockquote></div></blockquote></div>
</blockquote></div>