<div class="gmail_quote">On Thu, Mar 1, 2012 at 6:41 PM, Jesus Sanchez-Palencia <span dir="ltr"><<a href="mailto:jesus@webkit.org">jesus@webkit.org</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
A Qt WebKit1 performance bot was added last week, sorry for the late<br>
announcement.<br>
<br>
If I'm not mistaken, currently run-perf-tests works with DRT only, but<br>
what if we would like to make it work with WTR as well so we could<br>
also have WebKit2 performance bots running? I'm not aware of the<br>
infrastructure provided by webkitpy (Drivers, etc) so I'm not sure<br>
about the amount of work needed...<br></blockquote><div><br></div><div>To get WKTR running the performance tests a '-2' switch must be added to PerfTestRunner and some refactoring is required in the WKTR itself to properly handle the '--no-timeout' switch when given.</div>
<div><br></div><div>I've got a diff of these changes laying around I can transform into a patch if there isn't one yet, just point me to a bug (or let's create one).</div><div><br></div><div>Best,</div><div>Zan</div>
<div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<br>
Cheers,<br>
jesus<br>
<div class="HOEnZb"><div class="h5"><br>
On Tue, Jan 31, 2012 at 8:16 PM, Ryosuke Niwa <<a href="mailto:rniwa@webkit.org">rniwa@webkit.org</a>> wrote:<br>
> FYI, I've added a wiki page describing how to write a new perf.<br>
> test: <a href="https://trac.webkit.org/wiki/Writing%20Performance%20Tests" target="_blank">https://trac.webkit.org/wiki/Writing%20Performance%20Tests</a><br>
><br>
> On Fri, Jan 20, 2012 at 11:20 AM, Ojan Vafai <<a href="mailto:ojan@chromium.org">ojan@chromium.org</a>> wrote:<br>
>><br>
>> On Thu, Jan 19, 2012 at 3:20 PM, Ryosuke Niwa <<a href="mailto:rniwa@webkit.org">rniwa@webkit.org</a>> wrote:<br>
>>><br>
>>> I didn't merge it into run-webkit-tests because performance tests don't<br>
>>> pass/fail but instead give us some values that fluctuate over time. While<br>
>>> Chromium takes an approach to hard-code the rage of acceptable values, such<br>
>>> an approach has a high maintenance cost and prone to problems such as having<br>
>>> to increase the range periodically as the score slowly degrades over time.<br>
>>> Also, as you can see on Chromium perf bots, the test results tend to<br>
>>> fluctuate a lot so hard-coding a tight range of acceptable value is tricky.<br>
>><br>
>><br>
>> While this isn't perfect, I still think it's worth doing.<br>
><br>
><br>
> I'm afraid that the maintenance cost here will be too high. Values will<br>
> necessarily depend on each bot so we'll need <number of tests>×<number of<br>
> bots> expectations, and I don't think people are enthusiastic about<br>
> maintaining values like that over time (even I don't want to do that<br>
> myself).<br>
><br>
>> Turning the bot red when a performance test fails badly is helpful for<br>
>> finding and reverting regressions quickly, which in turn helps identify<br>
>> smaller regressions more easily (large regressions mask smaller ones).<br>
><br>
><br>
> I agree. Maybe we can obtain the historical average and standard deviation<br>
> and turn bots red if the value doesn't fall within <some value between 1 and<br>
> 2> standard deviations.<br>
><br>
>> In either case, we have to get the bots running the tests and work on<br>
>> getting reliable data first.<br>
><br>
><br>
> After <a href="http://trac.webkit.org/changeset/106211" target="_blank">http://trac.webkit.org/changeset/106211</a>, values for most tests have<br>
> gotten very stable. They tend to vary within 5% range.<br>
><br>
> - Ryosuke<br>
><br>
><br>
</div></div><div class="HOEnZb"><div class="h5">> _______________________________________________<br>
> webkit-dev mailing list<br>
> <a href="mailto:webkit-dev@lists.webkit.org">webkit-dev@lists.webkit.org</a><br>
> <a href="http://lists.webkit.org/mailman/listinfo.cgi/webkit-dev" target="_blank">http://lists.webkit.org/mailman/listinfo.cgi/webkit-dev</a><br>
><br>
_______________________________________________<br>
webkit-dev mailing list<br>
<a href="mailto:webkit-dev@lists.webkit.org">webkit-dev@lists.webkit.org</a><br>
<a href="http://lists.webkit.org/mailman/listinfo.cgi/webkit-dev" target="_blank">http://lists.webkit.org/mailman/listinfo.cgi/webkit-dev</a><br>
</div></div></blockquote></div><br>