On Thu, Aug 16, 2012 at 2:32 PM, Filip Pizlo <span dir="ltr">&lt;<a href="mailto:fpizlo@apple.com" target="_blank" class="cremed">fpizlo@apple.com</a>&gt;</span> wrote:<br><div class="gmail_extra"><div class="gmail_quote">

<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div class="im">1) Switching to skipping flaky tests wholesale in all ports would be great, and then we could get rid of the flakiness support.<br>

</div></blockquote><div><br></div><div>Then you don&#39;t notice when a flaky tests stops being flaky. The cost of flakiness support on the project does not seem large to me and it&#39;s pretty frequent that a test will only be flaky for a few hundred runs (e.g. due to a bad checkin that gets fixed), so we can then remove it from TestExpectations and run the test as normal.</div>

<div><br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div class="im"></div>
2) The WONTFIX mode in TestExpectations feels to me more like a statement that you&#39;re just trying to see if the test doesn&#39;t crash.  Correct?  Either way, it&#39;s confusing.<br></blockquote><div><br></div><div>WONTFIX is for tests that don&#39;t make sense to fix for the given port (e.g. dashboard-specific tests for non-Apple ports). It&#39;s a way of distinguishing tests that we&#39;re skipping because of a bug on our part vs. tests that we&#39;re skipping because the test doesn&#39;t apply to the port.</div>

<div><br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">3) Your new mechanism feels like it&#39;s already covered by our existing use of -expected files.  I&#39;m not quite convinced that having -failing in addition to -expected files would be all that helpful.<br>

</blockquote><div><br></div><div>But there are many cases where we *know* the result is incorrect, e.g. it doesn&#39;t match a spec. Sure, there are also many cases where it&#39;s not clear what the correct behavior is.</div>

</div></div>