<div>[+cc John Resig since he&#39;s using this as part of dromaeo]</div><div><br></div>Overall, sounds like good progress.<div><br></div><div>A couple of ideas:</div><div>   - can we make it so that if you try to cut-and-paste comparisons of 0.9 to 0.9.1 results, it will say &quot;these results are from a different version&quot;?</div>
<div>   - can we make the version more prominent in the title?</div><div>   - what would you think of reducing the setTimeout(..., 500) to something like setTimeout(..., 100)?  This will cut the runtime of the test by ~80% :-)</div>
<div><br></div><div>I&#39;ll volunteer to do any of these tasks this week if you want me to look at it.</div><div><br></div><div>Mike</div><div><br></div><div><br><div class="gmail_quote">On Mon, Dec 14, 2009 at 11:32 PM, Maciej Stachowiak <span dir="ltr">&lt;<a href="mailto:mjs@apple.com">mjs@apple.com</a>&gt;</span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex;"><br>
Hello folks,<br>
<br>
Over the past few days I made some changes to SunSpider to address some of the more serious issues reported. I focused on only changes that seem to make a significant difference to fairness and validity, so for example I did not remove accidental access to global variables. I also made a small number of harness changes that do not affect results but fix flaws in the harness.<br>

<br>
We are hesitant to change the SunSpider content or harness much at all, since it&#39;s been used for cross-version and cross-brwoser comparisons for so long. But these problems (many originally suggpointed out by Chrome or Mozilla folks) seemed important enough to address. Also, in addition to the patched content set, the original sunspider-0.9 content set is also available to run through the new harness.<br>

<br>
The most important harness change is greatly reducing the time between tests (as sugested by Mike Belshe) to avoid the negative impact of power management on many systems (both Mac and Windows), and which are most apparent for very fast browsers.<br>

<br>
I&#39;m deliberately not posting this on the web site yet because I don&#39;t want a flood of gawkers testing their browser before enough people have had a chance to review and verify these changes.<br>
<br>
<br>
Harness changes:<br>
<br>
In-browser SunSpider suffers excessive penalty under power management<br>
<a href="https://bugs.webkit.org/show_bug.cgi?id=32505" target="_blank">https://bugs.webkit.org/show_bug.cgi?id=32505</a><br>
<br>
Enable Web-hosted version of SunSpider to handle multiple versions<br>
<a href="https://bugs.webkit.org/show_bug.cgi?id=32478" target="_blank">https://bugs.webkit.org/show_bug.cgi?id=32478</a><br>
<br>
Use JSON.parse instead of eval for Web-hosted SunSpider results processing<br>
<a href="https://bugs.webkit.org/show_bug.cgi?id=32490" target="_blank">https://bugs.webkit.org/show_bug.cgi?id=32490</a><br>
<br>
Some Browser-hosted SunSpider files are not valid HTML5<br>
<a href="https://bugs.webkit.org/show_bug.cgi?id=32536" target="_blank">https://bugs.webkit.org/show_bug.cgi?id=32536</a><br>
<br>
Make sunspider-0.9.1 the default content set (both command-line and hosted)<br>
<a href="https://bugs.webkit.org/show_bug.cgi?id=32537" target="_blank">https://bugs.webkit.org/show_bug.cgi?id=32537</a><br>
<br>
<br>
Content changes (in sunspider-0.9.1 suite only; sunspider-0.9 is as originally posted):<br>
<br>
SunSpider/tests/string-base64.js does not compute a valid base64 encoded string<br>
<a href="https://bugs.webkit.org/show_bug.cgi?id=16806" target="_blank">https://bugs.webkit.org/show_bug.cgi?id=16806</a><br>
<br>
sunspider regexp-dna is inaccurate on firefox<br>
<a href="https://bugs.webkit.org/show_bug.cgi?id=18989" target="_blank">https://bugs.webkit.org/show_bug.cgi?id=18989</a><br>
<br>
<br>
<br>
Further changes I&#39;m considering but am unsure about:<br>
- Add correctness checking to all tests that don&#39;t use random numbers.<br>
- Stop using array-like indexing of strings in the base64 test since that doesn&#39;t work in IE8 and lower; but it is a standard construct now (ES5), future IE will support it, and it&#39;s a useful thing to test.<br>
<br>
Changes that probably won&#39;t be considered until a 2.0 version:<br>
- Adding new tests to cover other areas.<br>
- Rebalancing the runtime of the existing tests.<br>
- Considering different scoring methodology such as bigger-is-better or geometric mean or the like.<br>
- Removing use of random numbers from tests that do use them.<br>
<br>
Regards,<br>
Maciej<br>
<br>
_______________________________________________<br>
webkit-dev mailing list<br>
<a href="mailto:webkit-dev@lists.webkit.org" target="_blank">webkit-dev@lists.webkit.org</a><br>
<a href="http://lists.webkit.org/mailman/listinfo.cgi/webkit-dev" target="_blank">http://lists.webkit.org/mailman/listinfo.cgi/webkit-dev</a><br>
</blockquote></div><br></div>