On Mon, Feb 25, 2013 at 1:39 PM, Dirk Pranke <span dir="ltr">&lt;<a href="mailto:dpranke@google.com" target="_blank">dpranke@google.com</a>&gt;</span> wrote:<br><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">


<div><div>On Mon, Feb 25, 2013 at 1:33 PM, Ryosuke Niwa &lt;<a href="mailto:rniwa@webkit.org" target="_blank">rniwa@webkit.org</a>&gt; wrote:<br>
&gt; On Mon, Feb 25, 2013 at 1:29 PM, Dirk Pranke &lt;<a href="mailto:dpranke@google.com" target="_blank">dpranke@google.com</a>&gt; wrote:<br>
&gt;&gt;<br>
&gt;&gt; On Mon, Feb 25, 2013 at 1:22 PM, Ryosuke Niwa &lt;<a href="mailto:rniwa@webkit.org" target="_blank">rniwa@webkit.org</a>&gt; wrote:<br>
&gt;&gt; &gt; On Mon, Feb 25, 2013 at 12:52 PM, Dirk Pranke &lt;<a href="mailto:dpranke@google.com" target="_blank">dpranke@google.com</a>&gt;<br>
&gt;&gt; &gt; wrote:<br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt;&gt; &gt; I remember some discussion of a [rebaseline] keyword in<br>
&gt;&gt; &gt;&gt; &gt; TestExpectations,<br>
&gt;&gt; &gt;&gt; &gt; but I&#39;m not sure that ever made it in?<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt; The [ NeedsRebaseline ] enhancement is, as of yet, unimplemented and<br>
&gt;&gt; &gt;&gt; unclaimed [2]. It shouldn&#39;t be too hard for someone to try it if<br>
&gt;&gt; &gt;&gt; they&#39;re looking for a reason to explore the NRWT code :)<br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt; I object to adding such a thing. People add and forget about these<br>
&gt;&gt; &gt; entries<br>
&gt;&gt; &gt; way too often:<br>
&gt;&gt; &gt;<br>
&gt;&gt;<br>
&gt;&gt; The rationale for adding the keyword was precisely this ... it would<br>
&gt;&gt; make it easier to programmatically identify tests needing updated<br>
&gt;&gt; baselines and alert people :).<br>
&gt;&gt;<br>
&gt;&gt; Do you have an alternative you&#39;d suggest for keeping people from<br>
&gt;&gt; forgetting (particularly in the case where we have an expected failure<br>
&gt;&gt; waiting on a bug fix)?<br>
&gt;<br>
&gt; Just turn bots red. People maintaining bots will notice and rebaseline them<br>
&gt; as needed.<br>
<br>
</div></div>If there&#39;s a significant time lapse between failing test and bug fix,<br>
it seems like a bad idea to leave the tree red.</blockquote><div><br></div><div>I don&#39;t think that&#39;s necessarily bad. If the port maintainer is not available on IRC/Bugzilla and can&#39;t assist you in rebaselining tests, I don&#39;t think you should be accountable for keeping bots green for them in practice.</div>


<div><br></div><div>On the other hand, if all it takes to keep bots green is to commit new baselines, then why don&#39;t patch authors just do that?</div><div><br></div><div>Other than people who are not yet committers, it doesn&#39;t make much sense for patch authors to be adding test expectations when they could simply commit new baselines after the fact unless you&#39;re landing a patch that requires a rebaseline of mass scale, in which case, adding test expectations temporarily might make sense.</div>


<div><br></div><div>All too often, people add test expectations and forget about them because bots are green. It&#39;s the issue with incentives. People know they shouldn&#39;t leave bots red so they have a much higher inceptive to fix them on time. If they have added test expectations, then bots are green and other people won&#39;t be nagging them to fix it so they have much less inceptive to spend their time fixing bots.</div>


<div><br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Are you suggesting we should land a &quot;failling&quot; baseline in the meantime?<br></blockquote><div>


<br></div><div>No. I&#39;m suggesting patch authors perform their due diligence and either ask port maintainers to rebaseline or rebaseline tests themselves.</div><div><br></div><div>- R. Niwa</div><div><br></div></div>