On Sat, Feb 9, 2013 at 1:24 AM,  <span dir="ltr">&lt;<a href="mailto:noam.rosenthal@nokia.com" target="_blank">noam.rosenthal@nokia.com</a>&gt;</span> wrote:<div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<div style="font-size:14px;font-family:Calibri,sans-serif;word-wrap:break-word"><div class="im"><span><blockquote style="BORDER-LEFT:#b5c4df 5 solid;PADDING:0 0 0 5;MARGIN:0 0 0 5"><div><div class="gmail_quote"><div>
</div>
</div>
</div>
</blockquote>
</span>
</div><div>I did not say they cannot be tested with the two methods suggested :) It&#39;s more  about a preference to move some of those decisions from the test infrastructure to the test itself, but potentially those bugs could be tested in either way.</div>

<div>Examples for bugs I&#39;ve encountered/reviewed and can use better in-motion testing (note that those are specific to Qt/EFL, but I&#39;m sure there are tons of bugs like this that come up for Apple/Google as well)</div>

<div><a href="http://trac.webkit.org/changeset/140825" target="_blank">http://trac.webkit.org/changeset/140825</a></div>
<div><a href="http://trac.webkit.org/changeset/142112" target="_blank">http://trac.webkit.org/changeset/142112</a></div>
<div><a href="http://trac.webkit.org/changeset/134953" target="_blank">http://trac.webkit.org/changeset/134953</a></div>
<div><a href="https://bugs.webkit.org/show_bug.cgi?id=109179" target="_blank">https://bugs.webkit.org/show_bug.cgi?id=109179</a></div>
<div><br>
</div>
<div>Controlling the clock and programmatically sampling the end result would definitely make those more testable, but of course any progress in this area would be beneficial and my preference to a canvas-based API is more of an opinion.</div>
</div></blockquote><div><br></div><div>To explain my concerns:</div><div>Sometime, I look at a failing test, and think: &quot;what the f**k is this supposed to test?&quot;. Then I have to dig a ton of logs, and finally read the change to understand a the single JS statement in the whole script that make the test useful. </div>
<div><br></div><div>This is the situation I am afraid with a solution where pixels would be evaluated from JavaScript. You can test, but you lack visibility why something is correct or incorrect. Text tests, ref-tests and pixel tests have a great readability, you can quickly evaluate their correctness. This is important in my opinion, I don&#39;t think we want more opaque output like the RenderTree dump.</div>
<div><br></div><div>I am not against your plan if the readability of the tests can be good. I&#39;d be happy to review patches toward testing dynamic changes in webpages.</div><div><br></div><div>Benjamin</div></div>