This thread stalled out because although there seemed to be majority agreement that hermetic/repeatable tests are a good thing, there was a requirement that all ports be updated to the new behavior at the same time, and I&#39;m only competent to do the chromium DRT (see <a href="https://bugs.webkit.org/show_bug.cgi?id=93195" class="cremed">https://bugs.webkit.org/show_bug.cgi?id=93195</a> for details).<div>
<br></div><div>Is anyone interested in stepping up and doing the equivalent (clear caches between tests) for the mac and/or gtk ports&#39; DRTs?</div><div class="gmail_extra"><br><br><div class="gmail_quote">On Wed, Aug 8, 2012 at 2:35 PM, Dirk Pranke <span dir="ltr">&lt;<a href="mailto:dpranke@chromium.org" target="_blank">dpranke@chromium.org</a>&gt;</span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div class="im">On Wed, Aug 8, 2012 at 10:47 AM, Ojan Vafai &lt;<a href="mailto:ojan@chromium.org">ojan@chromium.org</a>&gt; wrote:<br>

</div><div><div class="h5">&gt; See <a href="https://bugs.webkit.org/show_bug.cgi?id=93195" target="_blank">https://bugs.webkit.org/show_bug.cgi?id=93195</a>.<br>
&gt;<br>
&gt; media/W3C/video/networkState/networkState_during_progress.html and<br>
&gt; media/video-poster-blocked-by-willsendrequest.html are flaky on all<br>
&gt; platforms because they behave differently if the loaded resource is cached.<br>
&gt;<br>
&gt; Every time I&#39;ve taken a stab at reducing test flakiness, I&#39;ve come across at<br>
&gt; least a few tests that pass when run as part of the test suite, but fail<br>
&gt; when run by themselves (or in parallel) because they accidentally expect an<br>
&gt; image or something to be in the cache.<br>
&gt;<br>
&gt; I think it would make the tests more maintainable if we cleared the cache<br>
&gt; before each test run. This is *not* before each page load though. So tests<br>
&gt; that do multiple page loads will still test cross-navigation caching<br>
&gt; behavior.<br>
&gt;<br>
&gt; While it&#39;s true that we could one-off fix each of these tests, it&#39;s usually<br>
&gt; very time consuming to figure out that caching is the problem, that&#39;s<br>
&gt; assuming anyone takes the time to look into why the test is flaky in the<br>
&gt; first place.<br>
&gt;<br>
&gt; Any objections?<br>
&gt;<br>
<br>
</div></div>Given that the way we run tests in parallel in NRWT means that<br>
different processes get different lists of tests each time, it sounds<br>
like we may be getting a fair amount of nondeterminism from the cache<br>
not being cleared between tests. That seems bad, so I&#39;m in favor of<br>
clearing the cache :)<br>
<span class="HOEnZb"><font color="#888888"><br>
-- Dirk<br>
</font></span></blockquote></div><br></div>