<div class="gmail_quote">On Fri, Nov 4, 2011 at 1:47 PM, Dirk Pranke <span dir="ltr"><<a href="mailto:dpranke@chromium.org">dpranke@chromium.org</a>></span> wrote:<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex;">

It's unclear how much of a perf impact there would be but that's<br>
easy enough to determine - I would expect it to be minimal compared to<br>
the time of actually rendering a page.<br></blockquote><div><br></div><div>Since I expect w3c to end up having hundreds of thousands of tests, I see any performance implication to be a serious threat.</div><div><br></div>

<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex;">
That said, supporting a manifest file is clearly fairly easy to do in<br>
NRWT, and presumably easy to add as a build step (e.g., make DRT<br>
depend on it) and may have the added bonus of allowing us to run<br>
various mozilla reference test suites that wouldn't be using the<br>
links, so I'm fine with that.<br></blockquote><div><br></div><div>In fact, we already have a patch to support it on :</div><div><a href="https://bugs.webkit.org/show_bug.cgi?id=66837">https://bugs.webkit.org/show_bug.cgi?id=66837</a></div>

<div>and <a href="https://bugs.webkit.org/show_bug.cgi?id=71567">https://bugs.webkit.org/show_bug.cgi?id=71567</a></div><div><br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex;">


I think we should voice a concern w/ the W3C that their tests must<br>
follow consistent naming styles (for maintainability); we shouldn't<br>
view the links and the  manifest step as a carte blanche to name tests<br>
and results whatever they want.<br></blockquote><div><br></div><div>Yes, I have. More comments on <a href="http://www.w3.org/html/wg/wiki/Testing" style="background-color: transparent; ">http://www.w3.org/html/wg/wiki/Testing</a> or <a href="http://wiki.csswg.org/test/" style="background-color: transparent; ">http://wiki.csswg.org/test</a> will be helpful.</div>

<div><br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex;">
Separately, if we are throwing around numbers in the range of >100K<br>
for tests to run, we should consider when we actually want to run them<br>
- i.e., what will the cycle time be if we run them on every change,<br>
etc.? But that can be dealt with when we get there.<br></blockquote><div><br></div><div>We need separate bots in the long term for sure.</div><div><br></div><div>- Ryosuke</div><div><br></div></div>