Couchbase

Couchbase http://www.couchbase.com/issues This file is an XML representation of an issue en-us

5.2.4

845

26-12-2012

[MB-5434] rebalance fails with wait_for_memcached if user stops rebalancing after one bucket was already rebalanced out because ns-server looks for "rebalanced out" buckets in the next rebalance attempt http://www.couchbase.com/issues/browse/MB-5434 Couchbase Server obvious from these logs : <br/> Rebalance exited with reason {wait_for_memcached_failed,"Authentication", <br/> ['<a href='mailto:ns_1@10.113.11.5'>ns_1@10.113.11.5</a>','<a href='mailto:ns_1@10.113.11.11'>ns_1@10.113.11.11</a>', <br/> '<a href='mailto:ns_1@10.113.11.12'>ns_1@10.113.11.12</a>','<a href='mailto:ns_1@10.113.11.16'>ns_1@10.113.11.16</a>', <br/> '<a href='mailto:ns_1@10.113.11.17'>ns_1@10.113.11.17</a>','<a href='mailto:ns_1@10.113.11.19'>ns_1@10.113.11.19</a>', <br/> '<a href='mailto:ns_1@10.113.11.21'>ns_1@10.113.11.21</a>','<a href='mailto:ns_1@10.113.11.23'>ns_1@10.113.11.23</a>', <br/> '<a href='mailto:ns_1@10.113.11.24'>ns_1@10.113.11.24</a>','<a href='mailto:ns_1@10.113.11.27'>ns_1@10.113.11.27</a>']} <br/> (repeated 1 times) ns_orchestrator002 <a href='mailto:ns_1@10.113.11.11'>ns_1@10.113.11.11</a> 01:24:57 - Mon Jun 4, 2012 <br/> Rebalance exited with reason {wait_for_memcached_failed,"Authentication", <br/> ['<a href='mailto:ns_1@10.113.11.5'>ns_1@10.113.11.5</a>','<a href='mailto:ns_1@10.113.11.11'>ns_1@10.113.11.11</a>', <br/> '<a href='mailto:ns_1@10.113.11.12'>ns_1@10.113.11.12</a>','<a href='mailto:ns_1@10.113.11.16'>ns_1@10.113.11.16</a>', <br/> '<a href='mailto:ns_1@10.113.11.17'>ns_1@10.113.11.17</a>','<a href='mailto:ns_1@10.113.11.19'>ns_1@10.113.11.19</a>', <br/> '<a href='mailto:ns_1@10.113.11.21'>ns_1@10.113.11.21</a>','<a href='mailto:ns_1@10.113.11.23'>ns_1@10.113.11.23</a>', <br/> '<a href='mailto:ns_1@10.113.11.24'>ns_1@10.113.11.24</a>','<a href='mailto:ns_1@10.113.11.27'>ns_1@10.113.11.27</a>']} <br/> ns_orchestrator002 <a href='mailto:ns_1@10.113.11.11'>ns_1@10.113.11.11</a> 01:19:18 - Mon Jun 4, 2012 <br/> Starting rebalance, KeepNodes = ['<a href='mailto:ns_1@10.113.11.1'>ns_1@10.113.11.1</a>','<a href='mailto:ns_1@10.113.11.2'>ns_1@10.113.11.2</a>', <br/> '<a href='mailto:ns_1@10.113.11.3'>ns_1@10.113.11.3</a>','<a href='mailto:ns_1@10.113.11.4'>ns_1@10.113.11.4</a>', <br/> '<a href='mailto:ns_1@10.113.11.6'>ns_1@10.113.11.6</a>','<a href='mailto:ns_1@10.113.11.7'>ns_1@10.113.11.7</a>', <br/> '<a href='mailto:ns_1@10.113.11.8'>ns_1@10.113.11.8</a>','<a href='mailto:ns_1@10.113.11.9'>ns_1@10.113.11.9</a>', <br/> '<a href='mailto:ns_1@10.113.11.10'>ns_1@10.113.11.10</a>','<a href='mailto:ns_1@10.113.11.13'>ns_1@10.113.11.13</a>', <br/> '<a href='mailto:ns_1@10.113.11.14'>ns_1@10.113.11.14</a>','<a href='mailto:ns_1@10.113.11.15'>ns_1@10.113.11.15</a>', <br/> '<a href='mailto:ns_1@10.113.11.18'>ns_1@10.113.11.18</a>','<a href='mailto:ns_1@10.113.11.20'>ns_1@10.113.11.20</a>', <br/> '<a href='mailto:ns_1@10.113.11.22'>ns_1@10.113.11.22</a>','<a href='mailto:ns_1@10.113.11.25'>ns_1@10.113.11.25</a>', <br/> '<a href='mailto:ns_1@10.113.11.26'>ns_1@10.113.11.26</a>','<a href='mailto:ns_1@10.113.11.28'>ns_1@10.113.11.28</a>', <br/> '<a href='mailto:ns_1@10.113.11.29'>ns_1@10.113.11.29</a>','<a href='mailto:ns_1@10.113.11.30'>ns_1@10.113.11.30</a>'], EjectNodes = ['<a href='mailto:ns_1@10.113.11.5'>ns_1@10.113.11.5</a>', <br/> '<a href='mailto:ns_1@10.113.11.11'>ns_1@10.113.11.11</a>', <br/> '<a href='mailto:ns_1@10.113.11.12'>ns_1@10.113.11.12</a>', <br/> '<a href='mailto:ns_1@10.113.11.16'>ns_1@10.113.11.16</a>', <br/> '<a href='mailto:ns_1@10.113.11.17'>ns_1@10.113.11.17</a>', <br/> '<a href='mailto:ns_1@10.113.11.19'>ns_1@10.113.11.19</a>', <br/> '<a href='mailto:ns_1@10.113.11.21'>ns_1@10.113.11.21</a>', <br/> '<a href='mailto:ns_1@10.113.11.23'>ns_1@10.113.11.23</a>', <br/> '<a href='mailto:ns_1@10.113.11.24'>ns_1@10.113.11.24</a>', <br/> '<a href='mailto:ns_1@10.113.11.27'>ns_1@10.113.11.27</a>'] <br/> ns_orchestrator004 <a href='mailto:ns_1@10.113.11.11'>ns_1@10.113.11.11</a> 01:19:07 - Mon Jun 4, 2012 <br/> Rebalance exited with reason stopped <br/> ns_orchestrator002 <a href='mailto:ns_1@10.113.11.11'>ns_1@10.113.11.11</a> 01:13:19 - Mon Jun 4, 2012 <br/> Shutting down bucket "Authentication" on '<a href='mailto:ns_1@10.113.11.17'>ns_1@10.113.11.17</a>' for server shutdown ns_memcached002 <a href='mailto:ns_1@10.113.11.17'>ns_1@10.113.11.17</a> 01:02:19 - Mon Jun 4, 2012 <br/> Shutting down bucket "Authentication" on '<a href='mailto:ns_1@10.113.11.19'>ns_1@10.113.11.19</a>' for server shutdown ns_memcached002 <a href='mailto:ns_1@10.113.11.19'>ns_1@10.113.11.19</a> 01:02:19 - Mon Jun 4, 2012 <br/> Shutting down bucket "Authentication" on '<a href='mailto:ns_1@10.113.11.23'>ns_1@10.113.11.23</a>' for server shutdown ns_memcached002 <a href='mailto:ns_1@10.113.11.23'>ns_1@10.113.11.23</a> 01:02:19 - Mon Jun 4, 2012 <br/> Shutting down bucket "Authentication" on '<a href='mailto:ns_1@10.113.11.11'>ns_1@10.113.11.11</a>' for server shutdown ns_memcached002 <a href='mailto:ns_1@10.113.11.11'>ns_1@10.113.11.11</a> 01:02:19 - Mon Jun 4, 2012 <br/> Shutting down bucket "Authentication" on '<a href='mailto:ns_1@10.113.11.12'>ns_1@10.113.11.12</a>' for server shutdown ns_memcached002 <a href='mailto:ns_1@10.113.11.12'>ns_1@10.113.11.12</a> 01:02:19 - Mon Jun 4, 2012 <br/> Shutting down bucket "Authentication" on '<a href='mailto:ns_1@10.113.11.5'>ns_1@10.113.11.5</a>' for server shutdown ns_memcached002 <a href='mailto:ns_1@10.113.11.5'>ns_1@10.113.11.5</a> 01:02:19 - Mon Jun 4, 2012 <br/> Shutting down bucket "Authentication" on '<a href='mailto:ns_1@10.113.11.16'>ns_1@10.113.11.16</a>' for server shutdown ns_memcached002 <a href='mailto:ns_1@10.113.11.16'>ns_1@10.113.11.16</a> 01:02:19 - Mon Jun 4, 2012 <br/> Shutting down bucket "Authentication" on '<a href='mailto:ns_1@10.113.11.24'>ns_1@10.113.11.24</a>' for server shutdown ns_memcached002 <a href='mailto:ns_1@10.113.11.24'>ns_1@10.113.11.24</a> 01:02:19 - Mon Jun 4, 2012 <br/> Shutting down bucket "Authentication" on '<a href='mailto:ns_1@10.113.11.21'>ns_1@10.113.11.21</a>' for server shutdown ns_memcached002 <a href='mailto:ns_1@10.113.11.21'>ns_1@10.113.11.21</a> 01:02:19 - Mon Jun 4, 2012 <br/> Shutting down bucket "Authentication" on '<a href='mailto:ns_1@10.113.11.27'>ns_1@10.113.11.27</a>' for server shutdown ns_memcached002 <a href='mailto:ns_1@10.113.11.27'>ns_1@10.113.11.27</a> 01:02:19 - Mon Jun 4, 2012 <br/> Starting rebalance, KeepNodes = ['<a href='mailto:ns_1@10.113.11.1'>ns_1@10.113.11.1</a>','<a href='mailto:ns_1@10.113.11.2'>ns_1@10.113.11.2</a>', <br/> '<a href='mailto:ns_1@10.113.11.3'>ns_1@10.113.11.3</a>','<a href='mailto:ns_1@10.113.11.4'>ns_1@10.113.11.4</a>', <br/> '<a href='mailto:ns_1@10.113.11.6'>ns_1@10.113.11.6</a>','<a href='mailto:ns_1@10.113.11.7'>ns_1@10.113.11.7</a>', <br/> '<a href='mailto:ns_1@10.113.11.8'>ns_1@10.113.11.8</a>','<a href='mailto:ns_1@10.113.11.9'>ns_1@10.113.11.9</a>', <br/> '<a href='mailto:ns_1@10.113.11.10'>ns_1@10.113.11.10</a>','<a href='mailto:ns_1@10.113.11.13'>ns_1@10.113.11.13</a>', <br/> '<a href='mailto:ns_1@10.113.11.14'>ns_1@10.113.11.14</a>','<a href='mailto:ns_1@10.113.11.15'>ns_1@10.113.11.15</a>', <br/> '<a href='mailto:ns_1@10.113.11.18'>ns_1@10.113.11.18</a>','<a href='mailto:ns_1@10.113.11.20'>ns_1@10.113.11.20</a>', <br/> '<a href='mailto:ns_1@10.113.11.22'>ns_1@10.113.11.22</a>','<a href='mailto:ns_1@10.113.11.25'>ns_1@10.113.11.25</a>', <br/> '<a href='mailto:ns_1@10.113.11.26'>ns_1@10.113.11.26</a>','<a href='mailto:ns_1@10.113.11.28'>ns_1@10.113.11.28</a>', <br/> '<a href='mailto:ns_1@10.113.11.29'>ns_1@10.113.11.29</a>','<a href='mailto:ns_1@10.113.11.30'>ns_1@10.113.11.30</a>'], EjectNodes = ['<a href='mailto:ns_1@10.113.11.5'>ns_1@10.113.11.5</a>', <br/> '<a href='mailto:ns_1@10.113.11.11'>ns_1@10.113.11.11</a>', <br/> '<a href='mailto:ns_1@10.113.11.12'>ns_1@10.113.11.12</a>', <br/> '<a href='mailto:ns_1@10.113.11.16'>ns_1@10.113.11.16</a>', <br/> '<a href='mailto:ns_1@10.113.11.17'>ns_1@10.113.11.17</a>', <br/> '<a href='mailto:ns_1@10.113.11.19'>ns_1@10.113.11.19</a>', <br/> '<a href='mailto:ns_1@10.113.11.21'>ns_1@10.113.11.21</a>', <br/> '<a href='mailto:ns_1@10.113.11.23'>ns_1@10.113.11.23</a>', <br/> '<a href='mailto:ns_1@10.113.11.24'>ns_1@10.113.11.24</a>', <br/> '<a href='mailto:ns_1@10.113.11.27'>ns_1@10.113.11.27</a>'] MB-5434

rebalance fails with wait_for_memcached if user stops rebalancing after one bucket was already rebalanced out because ns-server looks for "rebalanced out" buckets in the next rebalance attempt

Bug Major Closed Fixed Public Aleksey Kondratenko Farshid Ghods customer Mon, 4 Jun 2012 03:45:40 -0500 Wed, 9 Jan 2013 22:59:35 -0600 Tue, 5 Jun 2012 15:42:20 -0500 1.7.2 1.8.1 ns_server 0 1 Truncated log event: <br/> {info_msg,<0.50.0>, <br/>           {<0.29774.5803>, <br/>            "~s:~p:~s:~B: Rebalancing bucket ~p with config ~p~n", <br/>            ['<a href='mailto:ns_1@10.113.11.11'>ns_1@10.113.11.11</a>',<0.29774.5803>,ns_rebalancer,101, <br/>             "Authentication", <br/>             [{num_replicas,2}, <br/>              {ram_quota,104857600}, <br/>              {auth_type,sasl}, <br/>              {sasl_password,"soWeefeot7ai"}, <br/>              {type,membase}, <br/>              {num_vbuckets,1024}, <br/>              {servers,['<a href='mailto:ns_1@10.113.11.1'>ns_1@10.113.11.1</a>','<a href='mailto:ns_1@10.113.11.2'>ns_1@10.113.11.2</a>', <br/>                        '<a href='mailto:ns_1@10.113.11.3'>ns_1@10.113.11.3</a>','<a href='mailto:ns_1@10.113.11.4'>ns_1@10.113.11.4</a>', <br/>                        '<a href='mailto:ns_1@10.113.11.6'>ns_1@10.113.11.6</a>','<a href='mailto:ns_1@10.113.11.7'>ns_1@10.113.11.7</a>', <br/>                        '<a href='mailto:ns_1@10.113.11.8'>ns_1@10.113.11.8</a>','<a href='mailto:ns_1@10.113.11.9'>ns_1@10.113.11.9</a>', <br/>                        '<a href='mailto:ns_1@10.113.11.10'>ns_1@10.113.11.10</a>','<a href='mailto:ns_1@10.113.11.13'>ns_1@10.113.11.13</a>', <br/>                        '<a href='mailto:ns_1@10.113.11.14'>ns_1@10.113.11.14</a>','<a href='mailto:ns_1@10.113.11.15'>ns_1@10.113.11.15</a>', <br/>                        '<a href='mailto:ns_1@10.113.11.18'>ns_1@10.113.11.18</a>','<a href='mailto:ns_1@10.113.11.20'>ns_1@10.113.11.20</a>', <br/>                        '<a href='mailto:ns_1@10.113.11.22'>ns_1@10.113.11.22</a>','<a href='mailto:ns_1@10.113.11.25'>ns_1@10.113.11.25</a>', <br/>                        '<a href='mailto:ns_1@10.113.11.26'>ns_1@10.113.11.26</a>','<a href='mailto:ns_1@10.113.11.28'>ns_1@10.113.11.28</a>', <br/>                        '<a href='mailto:ns_1@10.113.11.29'>ns_1@10.113.11.29</a>','<a href='mailto:ns_1@10.113.11.30'>ns_1@10.113.11.30</a>']}, <br/>              {map,[['<a href='mailto:ns_1@10.113.11.10'>ns_1@10.113.11.10</a>','<a href='mailto:ns_1@10.113.11.18'>ns_1@10.113.11.18</a>', <br/>                     '<a href='mailto:ns_1@10.113.11.22'>ns_1@10.113.11.22</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.10'>ns_1@10.113.11.10</a>','<a href='mailto:ns_1@10.113.11.20'>ns_1@10.113.11.20</a>', <br/>                     '<a href='mailto:ns_1@10.113.11.1'>ns_1@10.113.11.1</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.10'>ns_1@10.113.11.10</a>','<a href='mailto:ns_1@10.113.11.20'>ns_1@10.113.11.20</a>', <br/>                     '<a href='mailto:ns_1@10.113.11.1'>ns_1@10.113.11.1</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.10'>ns_1@10.113.11.10</a>','<a href='mailto:ns_1@10.113.11.20'>ns_1@10.113.11.20</a>', <br/>                     '<a href='mailto:ns_1@10.113.11.1'>ns_1@10.113.11.1</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.2'>ns_1@10.113.11.2</a>','<a href='mailto:ns_1@10.113.11.14'>ns_1@10.113.11.14</a>', <br/>                     '<a href='mailto:ns_1@10.113.11.25'>ns_1@10.113.11.25</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.2'>ns_1@10.113.11.2</a>','<a href='mailto:ns_1@10.113.11.14'>ns_1@10.113.11.14</a>', <br/>                     '<a href='mailto:ns_1@10.113.11.25'>ns_1@10.113.11.25</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.2'>ns_1@10.113.11.2</a>','<a href='mailto:ns_1@10.113.11.15'>ns_1@10.113.11.15</a>', <br/>                     '<a href='mailto:ns_1@10.113.11.18'>ns_1@10.113.11.18</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.29'>ns_1@10.113.11.29</a>','<a href='mailto:ns_1@10.113.11.1'>ns_1@10.113.11.1</a>','<a href='mailto:ns_1@10.113.11.3'>ns_1@10.113.11.3</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.4'>ns_1@10.113.11.4</a>','<a href='mailto:ns_1@10.113.11.10'>ns_1@10.113.11.10</a>', <br/>                     '<a href='mailto:ns_1@10.113.11.29'>ns_1@10.113.11.29</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.4'>ns_1@10.113.11.4</a>','<a href='mailto:ns_1@10.113.11.10'>ns_1@10.113.11.10</a>', <br/>                     '<a href='mailto:ns_1@10.113.11.29'>ns_1@10.113.11.29</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.4'>ns_1@10.113.11.4</a>','<a href='mailto:ns_1@10.113.11.13'>ns_1@10.113.11.13</a>', <br/>                     '<a href='mailto:ns_1@10.113.11.28'>ns_1@10.113.11.28</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.15'>ns_1@10.113.11.15</a>','<a href='mailto:ns_1@10.113.11.29'>ns_1@10.113.11.29</a>', <br/>                     '<a href='mailto:ns_1@10.113.11.9'>ns_1@10.113.11.9</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.28'>ns_1@10.113.11.28</a>','<a href='mailto:ns_1@10.113.11.3'>ns_1@10.113.11.3</a>','<a href='mailto:ns_1@10.113.11.7'>ns_1@10.113.11.7</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.28'>ns_1@10.113.11.28</a>','<a href='mailto:ns_1@10.113.11.3'>ns_1@10.113.11.3</a>','<a href='mailto:ns_1@10.113.11.7'>ns_1@10.113.11.7</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.28'>ns_1@10.113.11.28</a>','<a href='mailto:ns_1@10.113.11.3'>ns_1@10.113.11.3</a>','<a href='mailto:ns_1@10.113.11.7'>ns_1@10.113.11.7</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.28'>ns_1@10.113.11.28</a>','<a href='mailto:ns_1@10.113.11.3'>ns_1@10.113.11.3</a>','<a href='mailto:ns_1@10.113.11.7'>ns_1@10.113.11.7</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.3'>ns_1@10.113.11.3</a>','<a href='mailto:ns_1@10.113.11.4'>ns_1@10.113.11.4</a>','<a href='mailto:ns_1@10.113.11.20'>ns_1@10.113.11.20</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.26'>ns_1@10.113.11.26</a>','<a href='mailto:ns_1@10.113.11.7'>ns_1@10.113.11.7</a>', <br/>                     '<a href='mailto:ns_1@10.113.11.20'>ns_1@10.113.11.20</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.26'>ns_1@10.113.11.26</a>','<a href='mailto:ns_1@10.113.11.8'>ns_1@10.113.11.8</a>', <br/>                     '<a href='mailto:ns_1@10.113.11.15'>ns_1@10.113.11.15</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.18'>ns_1@10.113.11.18</a>','<a href='mailto:ns_1@10.113.11.29'>ns_1@10.113.11.29</a>', <br/>                     '<a href='mailto:ns_1@10.113.11.7'>ns_1@10.113.11.7</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.18'>ns_1@10.113.11.18</a>','<a href='mailto:ns_1@10.113.11.3'>ns_1@10.113.11.3</a>', <br/>                     '<a href='mailto:ns_1@10.113.11.10'>ns_1@10.113.11.10</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.18'>ns_1@10.113.11.18</a>','<a href='mailto:ns_1@10.113.11.3'>ns_1@10.113.11.3</a>', <br/>                     '<a href='mailto:ns_1@10.113.11.10'>ns_1@10.113.11.10</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.2'>ns_1@10.113.11.2</a>','<a href='mailto:ns_1@10.113.11.9'>ns_1@10.113.11.9</a>','<a href='mailto:ns_1@10.113.11.14'>ns_1@10.113.11.14</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.2'>ns_1@10.113.11.2</a>','<a href='mailto:ns_1@10.113.11.9'>ns_1@10.113.11.9</a>','<a href='mailto:ns_1@10.113.11.14'>ns_1@10.113.11.14</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.2'>ns_1@10.113.11.2</a>','<a href='mailto:ns_1@10.113.11.9'>ns_1@10.113.11.9</a>','<a href='mailto:ns_1@10.113.11.14'>ns_1@10.113.11.14</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.22'>ns_1@10.113.11.22</a>','<a href='mailto:ns_1@10.113.11.6'>ns_1@10.113.11.6</a>', <br/>                     '<a href='mailto:ns_1@10.113.11.14'>ns_1@10.113.11.14</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.22'>ns_1@10.113.11.22</a>','<a href='mailto:ns_1@10.113.11.6'>ns_1@10.113.11.6</a>', <br/>                     '<a href='mailto:ns_1@10.113.11.14'>ns_1@10.113.11.14</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.22'>ns_1@10.113.11.22</a>','<a href='mailto:ns_1@10.113.11.6'>ns_1@10.113.11.6</a>', <br/>                     '<a href='mailto:ns_1@10.113.11.14'>ns_1@10.113.11.14</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.29'>ns_1@10.113.11.29</a>','<a href='mailto:ns_1@10.113.11.1'>ns_1@10.113.11.1</a>','<a href='mailto:ns_1@10.113.11.3'>ns_1@10.113.11.3</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.29'>ns_1@10.113.11.29</a>','<a href='mailto:ns_1@10.113.11.1'>ns_1@10.113.11.1</a>','<a href='mailto:ns_1@10.113.11.3'>ns_1@10.113.11.3</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.29'>ns_1@10.113.11.29</a>','<a href='mailto:ns_1@10.113.11.1'>ns_1@10.113.11.1</a>','<a href='mailto:ns_1@10.113.11.3'>ns_1@10.113.11.3</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.14'>ns_1@10.113.11.14</a>','<a href='mailto:ns_1@10.113.11.18'>ns_1@10.113.11.18</a>', <br/>                     '<a href='mailto:ns_1@10.113.11.25'>ns_1@10.113.11.25</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.1'>ns_1@10.113.11.1</a>','<a href='mailto:ns_1@10.113.11.2'>ns_1@10.113.11.2</a>','<a href='mailto:ns_1@10.113.11.10'>ns_1@10.113.11.10</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.1'>ns_1@10.113.11.1</a>','<a href='mailto:ns_1@10.113.11.2'>ns_1@10.113.11.2</a>','<a href='mailto:ns_1@10.113.11.10'>ns_1@10.113.11.10</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.1'>ns_1@10.113.11.1</a>','<a href='mailto:ns_1@10.113.11.2'>ns_1@10.113.11.2</a>','<a href='mailto:ns_1@10.113.11.10'>ns_1@10.113.11.10</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.4'>ns_1@10.113.11.4</a>','<a href='mailto:ns_1@10.113.11.7'>ns_1@10.113.11.7</a>','<a href='mailto:ns_1@10.113.11.9'>ns_1@10.113.11.9</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.4'>ns_1@10.113.11.4</a>','<a href='mailto:ns_1@10.113.11.8'>ns_1@10.113.11.8</a>','<a href='mailto:ns_1@10.113.11.13'>ns_1@10.113.11.13</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.4'>ns_1@10.113.11.4</a>','<a href='mailto:ns_1@10.113.11.8'>ns_1@10.113.11.8</a>','<a href='mailto:ns_1@10.113.11.13'>ns_1@10.113.11.13</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.4'>ns_1@10.113.11.4</a>','<a href='mailto:ns_1@10.113.11.9'>ns_1@10.113.11.9</a>','<a href='mailto:ns_1@10.113.11.18'>ns_1@10.113.11.18</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.14'>ns_1@10.113.11.14</a>','<a href='mailto:ns_1@10.113.11.1'>ns_1@10.113.11.1</a>', <br/>                     '<a href='mailto:ns_1@10.113.11.10'>ns_1@10.113.11.10</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.14'>ns_1@10.113.11.14</a>','<a href='mailto:ns_1@10.113.11.1'>ns_1@10.113.11.1</a>', <br/>                     '<a href='mailto:ns_1@10.113.11.10'>ns_1@10.113.11.10</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.14'>ns_1@10.113.11.14</a>','<a href='mailto:ns_1@10.113.11.1'>ns_1@10.113.11.1</a>', <br/>                     '<a href='mailto:ns_1@10.113.11.10'>ns_1@10.113.11.10</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.14'>ns_1@10.113.11.14</a>','<a href='mailto:ns_1@10.113.11.1'>ns_1@10.113.11.1</a>', <br/>                     '<a href='mailto:ns_1@10.113.11.10'>ns_1@10.113.11.10</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.29'>ns_1@10.113.11.29</a>','<a href='mailto:ns_1@10.113.11.9'>ns_1@10.113.11.9</a>', <br/>                     '<a href='mailto:ns_1@10.113.11.20'>ns_1@10.113.11.20</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.29'>ns_1@10.113.11.29</a>','<a href='mailto:ns_1@10.113.11.9'>ns_1@10.113.11.9</a>', <br/>                     '<a href='mailto:ns_1@10.113.11.20'>ns_1@10.113.11.20</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.29'>ns_1@10.113.11.29</a>','<a href='mailto:ns_1@10.113.11.9'>ns_1@10.113.11.9</a>', <br/>                     '<a href='mailto:ns_1@10.113.11.20'>ns_1@10.113.11.20</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.18'>ns_1@10.113.11.18</a>','<a href='mailto:ns_1@10.113.11.1'>ns_1@10.113.11.1</a>', <br/>                     '<a href='mailto:ns_1@10.113.11.13'>ns_1@10.113.11.13</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.22'>ns_1@10.113.11.22</a>','<a href='mailto:ns_1@10.113.11.4'>ns_1@10.113.11.4</a>', <br/>                     '<a href='mailto:ns_1@10.113.11.14'>ns_1@10.113.11.14</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.22'>ns_1@10.113.11.22</a>','<a href='mailto:ns_1@10.113.11.4'>ns_1@10.113.11.4</a>', <br/>                     '<a href='mailto:ns_1@10.113.11.14'>ns_1@10.113.11.14</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.22'>ns_1@10.113.11.22</a>','<a href='mailto:ns_1@10.113.11.4'>ns_1@10.113.11.4</a>', <br/>                     '<a href='mailto:ns_1@10.113.11.14'>ns_1@10.113.11.14</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.3'>ns_1@10.113.11.3</a>','<a href='mailto:ns_1@10.113.11.7'>ns_1@10.113.11.7</a>','<a href='mailto:ns_1@10.113.11.14'>ns_1@10.113.11.14</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.22'>ns_1@10.113.11.22</a>','<a href='mailto:ns_1@10.113.11.1'>ns_1@10.113.11.1</a>', <br/>                     '<a href='mailto:ns_1@10.113.11.14'>ns_1@10.113.11.14</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.2'>ns_1@10.113.11.2</a>','<a href='mailto:ns_1@10.113.11.10'>ns_1@10.113.11.10</a>', <br/>                     '<a href='mailto:ns_1@10.113.11.18'>ns_1@10.113.11.18</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.2'>ns_1@10.113.11.2</a>','<a href='mailto:ns_1@10.113.11.10'>ns_1@10.113.11.10</a>', <br/>                     '<a href='mailto:ns_1@10.113.11.18'>ns_1@10.113.11.18</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.2'>ns_1@10.113.11.2</a>','<a href='mailto:ns_1@10.113.11.10'>ns_1@10.113.11.10</a>', <br/>                     '<a href='mailto:ns_1@10.113.11.18'>ns_1@10.113.11.18</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.28'>ns_1@10.113.11.28</a>','<a href='mailto:ns_1@10.113.11.9'>ns_1@10.113.11.9</a>', <br/>                     '<a href='mailto:ns_1@10.113.11.22'>ns_1@10.113.11.22</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.28'>ns_1@10.113.11.28</a>','<a href='mailto:ns_1@10.113.11.9'>ns_1@10.113.11.9</a>', <br/>                     '<a href='mailto:ns_1@10.113.11.22'>ns_1@10.113.11.22</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.28'>ns_1@10.113.11.28</a>','<a href='mailto:ns_1@10.113.11.9'>ns_1@10.113.11.9</a>', <br/>                     '<a href='mailto:ns_1@10.113.11.22'>ns_1@10.113.11.22</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.4'>ns_1@10.113.11.4</a>','<a href='mailto:ns_1@10.113.11.8'>ns_1@10.113.11.8</a>','<a href='mailto:ns_1@10.113.11.13'>ns_1@10.113.11.13</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.4'>ns_1@10.113.11.4</a>','<a href='mailto:ns_1@10.113.11.8'>ns_1@10.113.11.8</a>','<a href='mailto:ns_1@10.113.11.13'>ns_1@10.113.11.13</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.4'>ns_1@10.113.11.4</a>','<a href='mailto:ns_1@10.113.11.8'>ns_1@10.113.11.8</a>','<a href='mailto:ns_1@10.113.11.13'>ns_1@10.113.11.13</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.2'>ns_1@10.113.11.2</a>','<a href='mailto:ns_1@10.113.11.10'>ns_1@10.113.11.10</a>', <br/>                     '<a href='mailto:ns_1@10.113.11.18'>ns_1@10.113.11.18</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.15'>ns_1@10.113.11.15</a>','<a href='mailto:ns_1@10.113.11.18'>ns_1@10.113.11.18</a>', <br/>                     '<a href='mailto:ns_1@10.113.11.2'>ns_1@10.113.11.2</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.6'>ns_1@10.113.11.6</a>','<a href='mailto:ns_1@10.113.11.7'>ns_1@10.113.11.7</a>','<a href='mailto:ns_1@10.113.11.8'>ns_1@10.113.11.8</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.6'>ns_1@10.113.11.6</a>','<a href='mailto:ns_1@10.113.11.7'>ns_1@10.113.11.7</a>','<a href='mailto:ns_1@10.113.11.8'>ns_1@10.113.11.8</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.6'>ns_1@10.113.11.6</a>','<a href='mailto:ns_1@10.113.11.7'>ns_1@10.113.11.7</a>','<a href='mailto:ns_1@10.113.11.8'>ns_1@10.113.11.8</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.7'>ns_1@10.113.11.7</a>','<a href='mailto:ns_1@10.113.11.13'>ns_1@10.113.11.13</a>', <br/>                     '<a href='mailto:ns_1@10.113.11.30'>ns_1@10.113.11.30</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.13'>ns_1@10.113.11.13</a>','<a href='mailto:ns_1@10.113.11.14'>ns_1@10.113.11.14</a>', <br/>                     '<a href='mailto:ns_1@10.113.11.1'>ns_1@10.113.11.1</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.13'>ns_1@10.113.11.13</a>','<a href='mailto:ns_1@10.113.11.15'>ns_1@10.113.11.15</a>', <br/>                     '<a href='mailto:ns_1@10.113.11.20'>ns_1@10.113.11.20</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.1'>ns_1@10.113.11.1</a>','<a href='mailto:ns_1@10.113.11.9'>ns_1@10.113.11.9</a>','<a href='mailto:ns_1@10.113.11.13'>ns_1@10.113.11.13</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.13'>ns_1@10.113.11.13</a>','<a href='mailto:ns_1@10.113.11.20'>ns_1@10.113.11.20</a>', <br/>                     '<a href='mailto:ns_1@10.113.11.26'>ns_1@10.113.11.26</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.13'>ns_1@10.113.11.13</a>','<a href='mailto:ns_1@10.113.11.20'>ns_1@10.113.11.20</a>', <br/>                     '<a href='mailto:ns_1@10.113.11.26'>ns_1@10.113.11.26</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.13'>ns_1@10.113.11.13</a>','<a href='mailto:ns_1@10.113.11.22'>ns_1@10.113.11.22</a>', <br/>                     '<a href='mailto:ns_1@10.113.11.3'>ns_1@10.113.11.3</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.13'>ns_1@10.113.11.13</a>','<a href='mailto:ns_1@10.113.11.25'>ns_1@10.113.11.25</a>', <br/>                     '<a href='mailto:ns_1@10.113.11.4'>ns_1@10.113.11.4</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.15'>ns_1@10.113.11.15</a>','<a href='mailto:ns_1@10.113.11.28'>ns_1@10.113.11.28</a>'|...], <br/>                    ['<a href='mailto:ns_1@10.113.11.15'>ns_1@10.113.11.15</a>'|...], <br/>                    [...]|...]}, <br/>              {fastForwardMap,undefined}]]}} <br/> INFO REPORT <5881.164.0> 2012-06-04 04:19:07 <br/> =============================================================================== <br/> <br/> config change: <br/> rebalance_status -> <br/> running <br/> <br/> INFO REPORT <5881.164.0> 2012-06-04 04:19:07 <br/> =============================================================================== <br/> <br/> ns_node_disco_conf_events config all <br/> <br/> INFO REPORT <5881.27798.1> 2012-06-04 04:19:07 <br/> =============================================================================== <br/> <br/> Pushing config <br/> <br/> INFO REPORT <5881.27798.1> 2012-06-04 04:19:07 <br/> =============================================================================== <br/> <br/> Pushing config done <br/> <br/> ERROR REPORT <5881.6.0> 2012-06-04 04:19:07 <br/> =============================================================================== <br/> <br/> Truncated log event: <br/> {info_msg,<0.50.0>, <br/>           {<0.164.0>,"config change:~n~p ->~n~s~n", <br/>            [buckets, <br/>             <<"[{configs,[{\"Authentication\",\n [{num_replicas,2},\n {ram_quota,104857600},\n {auth_type,sasl},\n {sasl_password,\"soWeefeot7ai\"},\n {type,membase},\n {num_vbuckets,1024},\n {servers,['<a href='mailto:ns_1@10.113.11.1'>ns_1@10.113.11.1</a>','<a href='mailto:ns_1@10.113.11.2'>ns_1@10.113.11.2</a>',\n '<a href='mailto:ns_1@10.113.11.3'>ns_1@10.113.11.3</a>','<a href='mailto:ns_1@10.113.11.4'>ns_1@10.113.11.4</a>',\n "...>>]}} <br/> INFO REPORT <5881.164.0> 2012-06-04 04:19:07 <br/> =============================================================================== <br/> <br/> ns_node_disco_conf_events config all <br/> <br/> INFO REPORT <5881.27798.1> 2012-06-04 04:19:07 <br/> =============================================================================== <br/> <br/> Pushing config <br/> <br/> INFO REPORT <5881.27798.1> 2012-06-04 04:19:07 <br/> =============================================================================== <br/> <br/> Pushing config done <br/> <br/> ERROR REPORT <5881.27838.1> 2012-06-04 04:19:07 <br/> =============================================================================== <br/> <br/> <a href='mailto:ns_1@10.113.11.11'>ns_1@10.113.11.11</a>:<5881.27838.1>:ns_heart:156: Failed to get stats for bucket: "Authentication": <br/> {'EXIT', <br/>     {noproc, <br/>         {gen_server,call, <br/>             [{'stats_reader-Authentication','<a href='mailto:ns_1@10.113.11.11'>ns_1@10.113.11.11</a>'}, <br/>              {latest,minute}]}}} <br/> <br/> <br/> INFO REPORT <5881.5131.7149> 2012-06-04 04:19:08 Truncated log event: <br/> {info_msg,<0.50.0>, <br/>           {<0.29774.5803>, <br/>            "~s:~p:~s:~B: Rebalancing bucket ~p with config ~p~n", <br/>            ['<a href='mailto:ns_1@10.113.11.11'>ns_1@10.113.11.11</a>',<0.29774.5803>,ns_rebalancer,101, <br/>             "Authentication", <br/>             [{num_replicas,2}, <br/>              {ram_quota,104857600}, <br/>              {auth_type,sasl}, <br/>              {sasl_password,"soWeefeot7ai"}, <br/>              {type,membase}, <br/>              {num_vbuckets,1024}, <br/>              {servers,['<a href='mailto:ns_1@10.113.11.1'>ns_1@10.113.11.1</a>','<a href='mailto:ns_1@10.113.11.2'>ns_1@10.113.11.2</a>', <br/>                        '<a href='mailto:ns_1@10.113.11.3'>ns_1@10.113.11.3</a>','<a href='mailto:ns_1@10.113.11.4'>ns_1@10.113.11.4</a>', <br/>                        '<a href='mailto:ns_1@10.113.11.6'>ns_1@10.113.11.6</a>','<a href='mailto:ns_1@10.113.11.7'>ns_1@10.113.11.7</a>', <br/>                        '<a href='mailto:ns_1@10.113.11.8'>ns_1@10.113.11.8</a>','<a href='mailto:ns_1@10.113.11.9'>ns_1@10.113.11.9</a>', <br/>                        '<a href='mailto:ns_1@10.113.11.10'>ns_1@10.113.11.10</a>','<a href='mailto:ns_1@10.113.11.13'>ns_1@10.113.11.13</a>', <br/>                        '<a href='mailto:ns_1@10.113.11.14'>ns_1@10.113.11.14</a>','<a href='mailto:ns_1@10.113.11.15'>ns_1@10.113.11.15</a>', <br/>                        '<a href='mailto:ns_1@10.113.11.18'>ns_1@10.113.11.18</a>','<a href='mailto:ns_1@10.113.11.20'>ns_1@10.113.11.20</a>', <br/>                        '<a href='mailto:ns_1@10.113.11.22'>ns_1@10.113.11.22</a>','<a href='mailto:ns_1@10.113.11.25'>ns_1@10.113.11.25</a>', <br/>                        '<a href='mailto:ns_1@10.113.11.26'>ns_1@10.113.11.26</a>','<a href='mailto:ns_1@10.113.11.28'>ns_1@10.113.11.28</a>', <br/>                        '<a href='mailto:ns_1@10.113.11.29'>ns_1@10.113.11.29</a>','<a href='mailto:ns_1@10.113.11.30'>ns_1@10.113.11.30</a>']}, <br/>              {map,[['<a href='mailto:ns_1@10.113.11.10'>ns_1@10.113.11.10</a>','<a href='mailto:ns_1@10.113.11.18'>ns_1@10.113.11.18</a>', <br/>                     '<a href='mailto:ns_1@10.113.11.22'>ns_1@10.113.11.22</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.10'>ns_1@10.113.11.10</a>','<a href='mailto:ns_1@10.113.11.20'>ns_1@10.113.11.20</a>', <br/>                     '<a href='mailto:ns_1@10.113.11.1'>ns_1@10.113.11.1</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.10'>ns_1@10.113.11.10</a>','<a href='mailto:ns_1@10.113.11.20'>ns_1@10.113.11.20</a>', <br/>                     '<a href='mailto:ns_1@10.113.11.1'>ns_1@10.113.11.1</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.10'>ns_1@10.113.11.10</a>','<a href='mailto:ns_1@10.113.11.20'>ns_1@10.113.11.20</a>', <br/>                     '<a href='mailto:ns_1@10.113.11.1'>ns_1@10.113.11.1</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.2'>ns_1@10.113.11.2</a>','<a href='mailto:ns_1@10.113.11.14'>ns_1@10.113.11.14</a>', <br/>                     '<a href='mailto:ns_1@10.113.11.25'>ns_1@10.113.11.25</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.2'>ns_1@10.113.11.2</a>','<a href='mailto:ns_1@10.113.11.14'>ns_1@10.113.11.14</a>', <br/>                     '<a href='mailto:ns_1@10.113.11.25'>ns_1@10.113.11.25</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.2'>ns_1@10.113.11.2</a>','<a href='mailto:ns_1@10.113.11.15'>ns_1@10.113.11.15</a>', <br/>                     '<a href='mailto:ns_1@10.113.11.18'>ns_1@10.113.11.18</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.29'>ns_1@10.113.11.29</a>','<a href='mailto:ns_1@10.113.11.1'>ns_1@10.113.11.1</a>','<a href='mailto:ns_1@10.113.11.3'>ns_1@10.113.11.3</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.4'>ns_1@10.113.11.4</a>','<a href='mailto:ns_1@10.113.11.10'>ns_1@10.113.11.10</a>', <br/>                     '<a href='mailto:ns_1@10.113.11.29'>ns_1@10.113.11.29</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.4'>ns_1@10.113.11.4</a>','<a href='mailto:ns_1@10.113.11.10'>ns_1@10.113.11.10</a>', <br/>                     '<a href='mailto:ns_1@10.113.11.29'>ns_1@10.113.11.29</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.4'>ns_1@10.113.11.4</a>','<a href='mailto:ns_1@10.113.11.13'>ns_1@10.113.11.13</a>', <br/>                     '<a href='mailto:ns_1@10.113.11.28'>ns_1@10.113.11.28</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.15'>ns_1@10.113.11.15</a>','<a href='mailto:ns_1@10.113.11.29'>ns_1@10.113.11.29</a>', <br/>                     '<a href='mailto:ns_1@10.113.11.9'>ns_1@10.113.11.9</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.28'>ns_1@10.113.11.28</a>','<a href='mailto:ns_1@10.113.11.3'>ns_1@10.113.11.3</a>','<a href='mailto:ns_1@10.113.11.7'>ns_1@10.113.11.7</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.28'>ns_1@10.113.11.28</a>','<a href='mailto:ns_1@10.113.11.3'>ns_1@10.113.11.3</a>','<a href='mailto:ns_1@10.113.11.7'>ns_1@10.113.11.7</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.28'>ns_1@10.113.11.28</a>','<a href='mailto:ns_1@10.113.11.3'>ns_1@10.113.11.3</a>','<a href='mailto:ns_1@10.113.11.7'>ns_1@10.113.11.7</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.28'>ns_1@10.113.11.28</a>','<a href='mailto:ns_1@10.113.11.3'>ns_1@10.113.11.3</a>','<a href='mailto:ns_1@10.113.11.7'>ns_1@10.113.11.7</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.3'>ns_1@10.113.11.3</a>','<a href='mailto:ns_1@10.113.11.4'>ns_1@10.113.11.4</a>','<a href='mailto:ns_1@10.113.11.20'>ns_1@10.113.11.20</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.26'>ns_1@10.113.11.26</a>','<a href='mailto:ns_1@10.113.11.7'>ns_1@10.113.11.7</a>', <br/>                     '<a href='mailto:ns_1@10.113.11.20'>ns_1@10.113.11.20</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.26'>ns_1@10.113.11.26</a>','<a href='mailto:ns_1@10.113.11.8'>ns_1@10.113.11.8</a>', <br/>                     '<a href='mailto:ns_1@10.113.11.15'>ns_1@10.113.11.15</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.18'>ns_1@10.113.11.18</a>','<a href='mailto:ns_1@10.113.11.29'>ns_1@10.113.11.29</a>', <br/>                     '<a href='mailto:ns_1@10.113.11.7'>ns_1@10.113.11.7</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.18'>ns_1@10.113.11.18</a>','<a href='mailto:ns_1@10.113.11.3'>ns_1@10.113.11.3</a>', <br/>                     '<a href='mailto:ns_1@10.113.11.10'>ns_1@10.113.11.10</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.18'>ns_1@10.113.11.18</a>','<a href='mailto:ns_1@10.113.11.3'>ns_1@10.113.11.3</a>', <br/>                     '<a href='mailto:ns_1@10.113.11.10'>ns_1@10.113.11.10</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.2'>ns_1@10.113.11.2</a>','<a href='mailto:ns_1@10.113.11.9'>ns_1@10.113.11.9</a>','<a href='mailto:ns_1@10.113.11.14'>ns_1@10.113.11.14</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.2'>ns_1@10.113.11.2</a>','<a href='mailto:ns_1@10.113.11.9'>ns_1@10.113.11.9</a>','<a href='mailto:ns_1@10.113.11.14'>ns_1@10.113.11.14</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.2'>ns_1@10.113.11.2</a>','<a href='mailto:ns_1@10.113.11.9'>ns_1@10.113.11.9</a>','<a href='mailto:ns_1@10.113.11.14'>ns_1@10.113.11.14</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.22'>ns_1@10.113.11.22</a>','<a href='mailto:ns_1@10.113.11.6'>ns_1@10.113.11.6</a>', <br/>                     '<a href='mailto:ns_1@10.113.11.14'>ns_1@10.113.11.14</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.22'>ns_1@10.113.11.22</a>','<a href='mailto:ns_1@10.113.11.6'>ns_1@10.113.11.6</a>', <br/>                     '<a href='mailto:ns_1@10.113.11.14'>ns_1@10.113.11.14</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.22'>ns_1@10.113.11.22</a>','<a href='mailto:ns_1@10.113.11.6'>ns_1@10.113.11.6</a>', <br/>                     '<a href='mailto:ns_1@10.113.11.14'>ns_1@10.113.11.14</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.29'>ns_1@10.113.11.29</a>','<a href='mailto:ns_1@10.113.11.1'>ns_1@10.113.11.1</a>','<a href='mailto:ns_1@10.113.11.3'>ns_1@10.113.11.3</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.29'>ns_1@10.113.11.29</a>','<a href='mailto:ns_1@10.113.11.1'>ns_1@10.113.11.1</a>','<a href='mailto:ns_1@10.113.11.3'>ns_1@10.113.11.3</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.29'>ns_1@10.113.11.29</a>','<a href='mailto:ns_1@10.113.11.1'>ns_1@10.113.11.1</a>','<a href='mailto:ns_1@10.113.11.3'>ns_1@10.113.11.3</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.14'>ns_1@10.113.11.14</a>','<a href='mailto:ns_1@10.113.11.18'>ns_1@10.113.11.18</a>', <br/>                     '<a href='mailto:ns_1@10.113.11.25'>ns_1@10.113.11.25</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.1'>ns_1@10.113.11.1</a>','<a href='mailto:ns_1@10.113.11.2'>ns_1@10.113.11.2</a>','<a href='mailto:ns_1@10.113.11.10'>ns_1@10.113.11.10</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.1'>ns_1@10.113.11.1</a>','<a href='mailto:ns_1@10.113.11.2'>ns_1@10.113.11.2</a>','<a href='mailto:ns_1@10.113.11.10'>ns_1@10.113.11.10</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.1'>ns_1@10.113.11.1</a>','<a href='mailto:ns_1@10.113.11.2'>ns_1@10.113.11.2</a>','<a href='mailto:ns_1@10.113.11.10'>ns_1@10.113.11.10</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.4'>ns_1@10.113.11.4</a>','<a href='mailto:ns_1@10.113.11.7'>ns_1@10.113.11.7</a>','<a href='mailto:ns_1@10.113.11.9'>ns_1@10.113.11.9</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.4'>ns_1@10.113.11.4</a>','<a href='mailto:ns_1@10.113.11.8'>ns_1@10.113.11.8</a>','<a href='mailto:ns_1@10.113.11.13'>ns_1@10.113.11.13</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.4'>ns_1@10.113.11.4</a>','<a href='mailto:ns_1@10.113.11.8'>ns_1@10.113.11.8</a>','<a href='mailto:ns_1@10.113.11.13'>ns_1@10.113.11.13</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.4'>ns_1@10.113.11.4</a>','<a href='mailto:ns_1@10.113.11.9'>ns_1@10.113.11.9</a>','<a href='mailto:ns_1@10.113.11.18'>ns_1@10.113.11.18</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.14'>ns_1@10.113.11.14</a>','<a href='mailto:ns_1@10.113.11.1'>ns_1@10.113.11.1</a>', <br/>                     '<a href='mailto:ns_1@10.113.11.10'>ns_1@10.113.11.10</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.14'>ns_1@10.113.11.14</a>','<a href='mailto:ns_1@10.113.11.1'>ns_1@10.113.11.1</a>', <br/>                     '<a href='mailto:ns_1@10.113.11.10'>ns_1@10.113.11.10</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.14'>ns_1@10.113.11.14</a>','<a href='mailto:ns_1@10.113.11.1'>ns_1@10.113.11.1</a>', <br/>                     '<a href='mailto:ns_1@10.113.11.10'>ns_1@10.113.11.10</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.14'>ns_1@10.113.11.14</a>','<a href='mailto:ns_1@10.113.11.1'>ns_1@10.113.11.1</a>', <br/>                     '<a href='mailto:ns_1@10.113.11.10'>ns_1@10.113.11.10</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.29'>ns_1@10.113.11.29</a>','<a href='mailto:ns_1@10.113.11.9'>ns_1@10.113.11.9</a>', <br/>                     '<a href='mailto:ns_1@10.113.11.20'>ns_1@10.113.11.20</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.29'>ns_1@10.113.11.29</a>','<a href='mailto:ns_1@10.113.11.9'>ns_1@10.113.11.9</a>', <br/>                     '<a href='mailto:ns_1@10.113.11.20'>ns_1@10.113.11.20</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.29'>ns_1@10.113.11.29</a>','<a href='mailto:ns_1@10.113.11.9'>ns_1@10.113.11.9</a>', <br/>                     '<a href='mailto:ns_1@10.113.11.20'>ns_1@10.113.11.20</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.18'>ns_1@10.113.11.18</a>','<a href='mailto:ns_1@10.113.11.1'>ns_1@10.113.11.1</a>', <br/>                     '<a href='mailto:ns_1@10.113.11.13'>ns_1@10.113.11.13</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.22'>ns_1@10.113.11.22</a>','<a href='mailto:ns_1@10.113.11.4'>ns_1@10.113.11.4</a>', <br/>                     '<a href='mailto:ns_1@10.113.11.14'>ns_1@10.113.11.14</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.22'>ns_1@10.113.11.22</a>','<a href='mailto:ns_1@10.113.11.4'>ns_1@10.113.11.4</a>', <br/>                     '<a href='mailto:ns_1@10.113.11.14'>ns_1@10.113.11.14</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.22'>ns_1@10.113.11.22</a>','<a href='mailto:ns_1@10.113.11.4'>ns_1@10.113.11.4</a>', <br/>                     '<a href='mailto:ns_1@10.113.11.14'>ns_1@10.113.11.14</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.3'>ns_1@10.113.11.3</a>','<a href='mailto:ns_1@10.113.11.7'>ns_1@10.113.11.7</a>','<a href='mailto:ns_1@10.113.11.14'>ns_1@10.113.11.14</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.22'>ns_1@10.113.11.22</a>','<a href='mailto:ns_1@10.113.11.1'>ns_1@10.113.11.1</a>', <br/>                     '<a href='mailto:ns_1@10.113.11.14'>ns_1@10.113.11.14</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.2'>ns_1@10.113.11.2</a>','<a href='mailto:ns_1@10.113.11.10'>ns_1@10.113.11.10</a>', <br/>                     '<a href='mailto:ns_1@10.113.11.18'>ns_1@10.113.11.18</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.2'>ns_1@10.113.11.2</a>','<a href='mailto:ns_1@10.113.11.10'>ns_1@10.113.11.10</a>', <br/>                     '<a href='mailto:ns_1@10.113.11.18'>ns_1@10.113.11.18</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.2'>ns_1@10.113.11.2</a>','<a href='mailto:ns_1@10.113.11.10'>ns_1@10.113.11.10</a>', <br/>                     '<a href='mailto:ns_1@10.113.11.18'>ns_1@10.113.11.18</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.28'>ns_1@10.113.11.28</a>','<a href='mailto:ns_1@10.113.11.9'>ns_1@10.113.11.9</a>', <br/>                     '<a href='mailto:ns_1@10.113.11.22'>ns_1@10.113.11.22</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.28'>ns_1@10.113.11.28</a>','<a href='mailto:ns_1@10.113.11.9'>ns_1@10.113.11.9</a>', <br/>                     '<a href='mailto:ns_1@10.113.11.22'>ns_1@10.113.11.22</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.28'>ns_1@10.113.11.28</a>','<a href='mailto:ns_1@10.113.11.9'>ns_1@10.113.11.9</a>', <br/>                     '<a href='mailto:ns_1@10.113.11.22'>ns_1@10.113.11.22</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.4'>ns_1@10.113.11.4</a>','<a href='mailto:ns_1@10.113.11.8'>ns_1@10.113.11.8</a>','<a href='mailto:ns_1@10.113.11.13'>ns_1@10.113.11.13</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.4'>ns_1@10.113.11.4</a>','<a href='mailto:ns_1@10.113.11.8'>ns_1@10.113.11.8</a>','<a href='mailto:ns_1@10.113.11.13'>ns_1@10.113.11.13</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.4'>ns_1@10.113.11.4</a>','<a href='mailto:ns_1@10.113.11.8'>ns_1@10.113.11.8</a>','<a href='mailto:ns_1@10.113.11.13'>ns_1@10.113.11.13</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.2'>ns_1@10.113.11.2</a>','<a href='mailto:ns_1@10.113.11.10'>ns_1@10.113.11.10</a>', <br/>                     '<a href='mailto:ns_1@10.113.11.18'>ns_1@10.113.11.18</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.15'>ns_1@10.113.11.15</a>','<a href='mailto:ns_1@10.113.11.18'>ns_1@10.113.11.18</a>', <br/>                     '<a href='mailto:ns_1@10.113.11.2'>ns_1@10.113.11.2</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.6'>ns_1@10.113.11.6</a>','<a href='mailto:ns_1@10.113.11.7'>ns_1@10.113.11.7</a>','<a href='mailto:ns_1@10.113.11.8'>ns_1@10.113.11.8</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.6'>ns_1@10.113.11.6</a>','<a href='mailto:ns_1@10.113.11.7'>ns_1@10.113.11.7</a>','<a href='mailto:ns_1@10.113.11.8'>ns_1@10.113.11.8</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.6'>ns_1@10.113.11.6</a>','<a href='mailto:ns_1@10.113.11.7'>ns_1@10.113.11.7</a>','<a href='mailto:ns_1@10.113.11.8'>ns_1@10.113.11.8</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.7'>ns_1@10.113.11.7</a>','<a href='mailto:ns_1@10.113.11.13'>ns_1@10.113.11.13</a>', <br/>                     '<a href='mailto:ns_1@10.113.11.30'>ns_1@10.113.11.30</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.13'>ns_1@10.113.11.13</a>','<a href='mailto:ns_1@10.113.11.14'>ns_1@10.113.11.14</a>', <br/>                     '<a href='mailto:ns_1@10.113.11.1'>ns_1@10.113.11.1</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.13'>ns_1@10.113.11.13</a>','<a href='mailto:ns_1@10.113.11.15'>ns_1@10.113.11.15</a>', <br/>                     '<a href='mailto:ns_1@10.113.11.20'>ns_1@10.113.11.20</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.1'>ns_1@10.113.11.1</a>','<a href='mailto:ns_1@10.113.11.9'>ns_1@10.113.11.9</a>','<a href='mailto:ns_1@10.113.11.13'>ns_1@10.113.11.13</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.13'>ns_1@10.113.11.13</a>','<a href='mailto:ns_1@10.113.11.20'>ns_1@10.113.11.20</a>', <br/>                     '<a href='mailto:ns_1@10.113.11.26'>ns_1@10.113.11.26</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.13'>ns_1@10.113.11.13</a>','<a href='mailto:ns_1@10.113.11.20'>ns_1@10.113.11.20</a>', <br/>                     '<a href='mailto:ns_1@10.113.11.26'>ns_1@10.113.11.26</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.13'>ns_1@10.113.11.13</a>','<a href='mailto:ns_1@10.113.11.22'>ns_1@10.113.11.22</a>', <br/>                     '<a href='mailto:ns_1@10.113.11.3'>ns_1@10.113.11.3</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.13'>ns_1@10.113.11.13</a>','<a href='mailto:ns_1@10.113.11.25'>ns_1@10.113.11.25</a>', <br/>                     '<a href='mailto:ns_1@10.113.11.4'>ns_1@10.113.11.4</a>'], <br/>                    ['<a href='mailto:ns_1@10.113.11.15'>ns_1@10.113.11.15</a>','<a href='mailto:ns_1@10.113.11.28'>ns_1@10.113.11.28</a>'|...], <br/>                    ['<a href='mailto:ns_1@10.113.11.15'>ns_1@10.113.11.15</a>'|...], <br/>                    [...]|...]}, <br/>              {fastForwardMap,undefined}]]}} <br/> INFO REPORT <5881.164.0> 2012-06-04 04:19:07 <br/> =============================================================================== <br/> <br/> config change: <br/> rebalance_status -> <br/> running <br/> <br/> INFO REPORT <5881.164.0> 2012-06-04 04:19:07 <br/> =============================================================================== <br/> <br/> ns_node_disco_conf_events config all <br/> <br/> INFO REPORT <5881.27798.1> 2012-06-04 04:19:07 <br/> =============================================================================== <br/> <br/> Pushing config <br/> <br/> INFO REPORT <5881.27798.1> 2012-06-04 04:19:07 <br/> =============================================================================== <br/> <br/> Pushing config done <br/> <br/> ERROR REPORT <5881.6.0> 2012-06-04 04:19:07 <br/> =============================================================================== <br/> <br/> Truncated log event: <br/> {info_msg,<0.50.0>, <br/>           {<0.164.0>,"config change:~n~p ->~n~s~n", <br/>            [buckets, <br/>             <<"[{configs,[{\"Authentication\",\n [{num_replicas,2},\n {ram_quota,104857600},\n {auth_type,sasl},\n {sasl_password,\"soWeefeot7ai\"},\n {type,membase},\n {num_vbuckets,1024},\n {servers,['<a href='mailto:ns_1@10.113.11.1'>ns_1@10.113.11.1</a>','<a href='mailto:ns_1@10.113.11.2'>ns_1@10.113.11.2</a>',\n '<a href='mailto:ns_1@10.113.11.3'>ns_1@10.113.11.3</a>','<a href='mailto:ns_1@10.113.11.4'>ns_1@10.113.11.4</a>',\n "...>>]}} <br/> INFO REPORT <5881.164.0> 2012-06-04 04:19:07 <br/> =============================================================================== <br/> <br/> ns_node_disco_conf_events config all <br/> <br/> INFO REPORT <5881.27798.1> 2012-06-04 04:19:07 <br/> =============================================================================== <br/> <br/> Pushing config <br/> <br/> INFO REPORT <5881.27798.1> 2012-06-04 04:19:07 <br/> =============================================================================== <br/> <br/> Pushing config done <br/> <br/> ERROR REPORT <5881.27838.1> 2012-06-04 04:19:07 <br/> =============================================================================== <br/> <br/> <a href='mailto:ns_1@10.113.11.11'>ns_1@10.113.11.11</a>:<5881.27838.1>:ns_heart:156: Failed to get stats for bucket: "Authentication": <br/> {'EXIT', <br/>     {noproc, <br/>         {gen_server,call, <br/>             [{'stats_reader-Authentication','<a href='mailto:ns_1@10.113.11.11'>ns_1@10.113.11.11</a>'}, <br/>              {latest,minute}]}}} <br/> <br/> <br/> INFO REPORT <5881.5131.7149> 2012-06-04 04:19:08 Indeed we set set of bucket's list nodes to current list of nodes even if some of them are going to be rebalanced out. That's indeed going to start buckets on those previously nearly rebalanced out nodes. I think we can just reverse list of buckets before rebalancing as a workaround. <br/> <br/> This is the /diag/eval snipped I used to revers list of buckets: <br/> <br/> ns_config:update_key(buckets, fun ([{configs, Buckets0}]) -> Buckets = lists:reverse(Buckets0), [{configs, Buckets}] end). <br/> >>>ns_config:update_key(buckets, fun ([{configs, Buckets0}]) -> Buckets = lists:reverse(Buckets0), [{configs, Buckets}] end). <br/> <br/> what does bucket0 mean here ? should we pass the name of the bucket that is already rebalanced out ? <br/> does it reverse by the alphabetical order or it reverses based on the state of the bucket ( is it rebalanced out or not yet ) it reverses current list. Buckets0 is current list. I think we can do better than reversing. Give me few more minutes This snipped rotates list of buckets instead: <br/> <br/> ns_config:update_key(buckets, fun ([{configs, Buckets}]) -> ShuffledBuckets = tl(Buckets) ++ [hd(Buckets)], [{configs, ShuffledBuckets}] end). the problem with reversing is that if i have 5 buckets <br/> a,b,c,d,e,f <br/> first rebalance succeeds and remove "a" <br/> then rebalance is stuck and we restart rebalancing but fails with wait_for_memcached ("a") <br/> <br/> so reverse bucket list f,e,d,c,b,a <br/> <br/> rebalance moves f and then is stuck while moving e <br/> <br/> now reversing won't help anymore because both vbucket "f" and "a" are rebalanced out and the rest are still imbalanced exactly, So rotating would change a,b,c,d,e,f to b,c,d,e,f,a >>ns_config:update_key(buckets, fun ([{configs, Buckets}]) -> ShuffledBuckets = tl(Buckets) ++ [hd(Buckets)], [{configs, ShuffledBuckets}] end). <br/> <br/> so this script moves the buckets that are still part of the cluster to the head of list and the "rebalanced_out" ones to the end ? right. Right. The idea is in worst case you can rebalance bucket after bucket. And then usual failover would just get rid of this nodes being in server list of buckets fixed for 1.8.1: <a href="http://review.couchbase.org/16783">http://review.couchbase.org/16783</a> Integrated in github-ns-server-2-0 #364 (See [<a href="http://qa.hq.northscale.net/job/github-ns-server-2-0/364/">http://qa.hq.northscale.net/job/github-ns-server-2-0/364/</a>])<br/>     <a href="http://www.couchbase.com/issues/browse/MB-5434" title="rebalance fails with wait_for_memcached if user stops rebalancing after one bucket was already rebalanced out because ns-server looks for "rebalanced out" buckets in the next rebalance attempt"><strike>MB-5434</strike></a>: don't add ejected nodes back to bucket's servers list (Revision 9ecbe6c6f1c596faf995dabc7e2abb3facd4c8b7)<br/> <br/>      Result = SUCCESS<br/> Aliaksey Kandratsenka : <br/> Files : <br/> * src/ns_rebalancer.erl<br/> Tested on build 927 - Works fine. Seeing no error. Date of First Response Mon, 4 Jun 2012 04:18:49 -0500 Rank 5273 Time In Status