http://www.couchbase.com/issues This file is an XML representation of an issue en-us 5.2.4 845 26-12-2012 http://www.couchbase.com/issues/browse/MB-6222 Couchbase Server 1 node, 1 bucket, 3 items, rebalance in 1 node <br/> <br/> ** Last message in was {#Port&lt;0.18432&gt;,{exit_status,255}} <br/> ** When Server state == {state,#Port&lt;0.18432&gt;,memcached, <br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;{[&quot;114 3: Schedule cleanup of \&quot;eq_tapq:anon_78\&quot;&quot;, <br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;114 3: TAP (Producer) eq_tapq:replication_building_590_&#39;<a href='mailto:ns_1@10.1.3.147'>ns_1@10.1.3.147</a>&#39; - Sending TAP_OPAQUE with command \&quot;initial_vbucket_stream\&quot; and vbucket 590&quot;, <br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;114 3: TAP (Producer) eq_tapq:replication_building_590_&#39;<a href='mailto:ns_1@10.1.3.147'>ns_1@10.1.3.147</a>&#39; - Sending TAP_OPAQUE with command \&quot;enable_checkpoint_sync\&quot; and vbucket 0&quot;, <br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;114 3: TAP (Producer) eq_tapq:replication_building_590_&#39;<a href='mailto:ns_1@10.1.3.147'>ns_1@10.1.3.147</a>&#39; - Sending TAP_OPAQUE with command \&quot;opaque_enable_auto_nack\&quot; and vbucket 0&quot;, <br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;114 3: TAP (Producer) eq_tapq:replication_building_590_&#39;<a href='mailto:ns_1@10.1.3.147'>ns_1@10.1.3.147</a>&#39; - Schedule the backfill for vbucket 590&quot;, <br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;114 3: TAP (Producer) eq_tapq:replication_building_589_&#39;<a href='mailto:ns_1@10.1.3.147'>ns_1@10.1.3.147</a>&#39; - Connection is closed by force.&quot;, <br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;114 3: TAP (Producer) eq_tapq:rebalance_589 - Clear the tap queues by force&quot;, <br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;114 3: Schedule cleanup of \&quot;eq_tapq:rebalance_589\&quot;&quot;, <br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;114 3: TAP (Producer) eq_tapq:rebalance_589 - disconnected&quot;, <br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;114 3: TAP takeover is completed. Disconnecting tap stream &lt;eq_tapq:rebalance_589&gt;&quot;, <br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;114 3: TAP (Producer) eq_tapq:rebalance_589 - Sending TAP_VBUCKET_SET with vbucket 589 and state \&quot;active\&quot;&quot;, <br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;114 3: TAP (Producer) eq_tapq:rebalance_589 - VBucket &lt;589&gt; is going dead to complete vbucket takeover.&quot;, <br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;114 3: TAP (Producer) eq_tapq:rebalance_589 - Sending TAP_VBUCKET_SET with vbucket 589 and state \&quot;pending\&quot;&quot;, <br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;114 3: TAP (Producer) eq_tapq:rebalance_589 - Sending TAP_OPAQUE with command \&quot;enable_checkpoint_sync\&quot; and vbucket 0&quot;, <br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;114 3: TAP (Producer) eq_tapq:rebalance_589 - Sending TAP_OPAQUE with command \&quot;opaque_enable_auto_nack\&quot; and vbucket 0&quot;, <br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;114 3: TAP (Producer) eq_tapq:replication_building_589_&#39;<a href='mailto:ns_1@10.1.3.147'>ns_1@10.1.3.147</a>&#39; - disconnected, keep alive for 300 seconds&quot;, <br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;114 3: TAP (Producer) eq_tapq:replication_building_589_&#39;<a href='mailto:ns_1@10.1.3.147'>ns_1@10.1.3.147</a>&#39; - Sending TAP_OPAQUE with command \&quot;close_backfill\&quot; and vbucket 589&quot;, <br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;114 3: TAP (Producer) eq_tapq:replication_building_589_&#39;<a href='mailto:ns_1@10.1.3.147'>ns_1@10.1.3.147</a>&#39; - Backfill is completed with VBuckets 589, &quot;, <br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;114 3: TAP (Producer) eq_tapq:rebalance_588 - Clear the tap queues by force&quot;, <br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;114 3: TAP (Producer) eq_tapq:replication_building_588_&#39;<a href='mailto:ns_1@10.1.3.147'>ns_1@10.1.3.147</a>&#39; - Clear the tap queues by force&quot;, <br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;114 3: Schedule cleanup of \&quot;eq_tapq:rebalance_588\&quot;&quot;, <br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;114 3: Schedule cleanup of \&quot;eq_tapq:anon_77\&quot;&quot;, <br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;114 3: TAP (Producer) eq_tapq:replication_building_589_&#39;<a href='mailto:ns_1@10.1.3.147'>ns_1@10.1.3.147</a>&#39; - Sending TAP_OPAQUE with command \&quot;initial_vbucket_stream\&quot; and vbucket 589&quot;, <br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;114 3: TAP (Producer) eq_tapq:replication_building_589_&#39;<a href='mailto:ns_1@10.1.3.147'>ns_1@10.1.3.147</a>&#39; - Sending TAP_OPAQUE with command \&quot;enable_checkpoint_sync\&quot; and vbucket 0&quot;, <br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;114 3: TAP (Producer) eq_tapq:replication_building_589_&#39;<a href='mailto:ns_1@10.1.3.147'>ns_1@10.1.3.147</a>&#39; - Sending TAP_OPAQUE with command \&quot;opaque_enable_auto_nack\&quot; and vbucket 0&quot;, <br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;114 3: TAP (Producer) eq_tapq:replication_building_589_&#39;<a href='mailto:ns_1@10.1.3.147'>ns_1@10.1.3.147</a>&#39; - Schedule the backfill for vbucket 589&quot;, <br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;114 3: TAP (Producer) eq_tapq:replication_building_588_&#39;<a href='mailto:ns_1@10.1.3.147'>ns_1@10.1.3.147</a>&#39; - Connection is closed by force.&quot;, <br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;114 3: TAP (Producer) eq_tapq:rebalance_588 - disconnected&quot;, <br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;114 3: TAP takeover is completed. Disconnecting tap stream &lt;eq_tapq:rebalance_588&gt;&quot;, <br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;114 3: TAP (Producer) eq_tapq:rebalance_588 - Sending TAP_VBUCKET_SET with vbucket 588 and state \&quot;active\&quot;&quot;, <br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;114 3: TAP (Producer) eq_tapq:rebalance_588 - VBucket &lt;588&gt; is going dead to complete vbucket takeover.&quot;, <br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;114 3: TAP (Producer) eq_tapq:rebalance_588 - Sending TAP_VBUCKET_SET with vbucket 588 and state \&quot;pending\&quot;&quot;, <br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;114 3: TAP (Producer) eq_tapq:rebalance_588 - Sending TAP_OPAQUE with command \&quot;enable_checkpoint_sync\&quot; and vbucket 0&quot;, <br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;114 3: TAP (Producer) eq_tapq:rebalance_588 - Sending TAP_OPAQUE with command \&quot;opaque_enable_auto_nack\&quot; and vbucket 0&quot;, <br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;114 3: TAP (Producer) eq_tapq:replication_building_588_&#39;<a href='mailto:ns_1@10.1.3.147'>ns_1@10.1.3.147</a>&#39; - disconnected, keep alive for 300 seconds&quot;, <br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;113 3: TAP (Producer) eq_tapq:replication_building_588_&#39;<a href='mailto:ns_1@10.1.3.147'>ns_1@10.1.3.147</a>&#39; - Sending TAP_OPAQUE with command \&quot;close_backfill\&quot; and vbucket 588&quot;, <br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;113 3: TAP (Producer) eq_tapq:replication_building_588_&#39;<a href='mailto:ns_1@10.1.3.147'>ns_1@10.1.3.147</a>&#39; - Backfill is completed with VBuckets 588, &quot;, <br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;113 3: TAP (Producer) eq_tapq:rebalance_587 - Clear the tap queues by force&quot;], <br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;[&quot;112 3: TAP (Producer) eq_tapq:replication_building_585_&#39;<a href='mailto:ns_1@10.1.3.147'>ns_1@10.1.3.147</a>&#39; - Sending TAP_OPAQUE with command \&quot;enable_checkpoint_sync\&quot; and vbucket 0&quot;, <br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;112 3: TAP (Producer) eq_tapq:replication_building_585_&#39;<a href='mailto:ns_1@10.1.3.147'>ns_1@10.1.3.147</a>&#39; - Sending TAP_OPAQUE with command \&quot;initial_vbucket_stream\&quot; and vbucket 585&quot;, <br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;112 3: Schedule cleanup of \&quot;eq_tapq:anon_73\&quot;&quot;, <br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;112 3: Schedule cleanup of \&quot;eq_tapq:rebalance_584\&quot;&quot;, <br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;112 3: TAP (Producer) eq_tapq:replication_building_584_&#39;<a href='mailto:ns_1@10.1.3.147'>ns_1@10.1.3.147</a>&#39; - Clear the tap queues by force&quot;, <br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;112 3: TAP (Producer) eq_tapq:rebalance_584 - Clear the tap queues by force&quot;, <br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;112 3: TAP (Producer) eq_tapq:replication_building_585_&#39;<a href='mailto:ns_1@10.1.3.147'>ns_1@10.1.3.147</a>&#39; - Backfill is completed with VBuckets 585, &quot;, <br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;112 3: TAP (Producer) eq_tapq:replication_building_585_&#39;<a href='mailto:ns_1@10.1.3.147'>ns_1@10.1.3.147</a>&#39; - Sending TAP_OPAQUE with command \&quot;close_backfill\&quot; and vbucket 585&quot;, <br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;112 3: TAP (Producer) eq_tapq:replication_building_585_&#39;<a href='mailto:ns_1@10.1.3.147'>ns_1@10.1.3.147</a>&#39; - disconnected, keep alive for 300 seconds&quot;, <br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;113 3: TAP (Producer) eq_tapq:rebalance_585 - Sending TAP_OPAQUE with command \&quot;opaque_enable_auto_nack\&quot; and vbucket 0&quot;, <br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;113 3: TAP (Producer) eq_tapq:rebalance_585 - Sending TAP_OPAQUE with command \&quot;enable_checkpoint_sync\&quot; and vbucket 0&quot;, <br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;113 3: TAP (Producer) eq_tapq:rebalance_585 - Sending TAP_VBUCKET_SET with vbucket 585 and state \&quot;pending\&quot;&quot;, <br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;113 3: TAP (Producer) eq_tapq:rebalance_585 - VBucket &lt;585&gt; is going dead to complete vbucket takeover.&quot;, <br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;113 3: TAP (Producer) eq_tapq:rebalance_585 - Sending TAP_VBUCKET_SET with vbucket 585 and state \&quot;active\&quot;&quot;, <br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;113 3: TAP takeover is completed. Disconnecting tap stream &lt;eq_tapq:rebalance_585&gt;&quot;, <br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;113 3: TAP (Producer) eq_tapq:rebalance_585 - disconnected&quot;, <br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;113 3: Schedule cleanup of \&quot;eq_tapq:rebalance_585\&quot;&quot;, <br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;113 3: TAP (Producer) eq_tapq:rebalance_585 - Clear the tap queues by force&quot;, <br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;113 3: TAP (Producer) eq_tapq:replication_building_585_&#39;<a href='mailto:ns_1@10.1.3.147'>ns_1@10.1.3.147</a>&#39; - Connection is closed by force.&quot;, <br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;113 3: TAP (Producer) eq_tapq:replication_building_586_&#39;<a href='mailto:ns_1@10.1.3.147'>ns_1@10.1.3.147</a>&#39; - Schedule the backfill for vbucket 586&quot;, <br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;113 3: TAP (Producer) eq_tapq:replication_building_586_&#39;<a href='mailto:ns_1@10.1.3.147'>ns_1@10.1.3.147</a>&#39; - Sending TAP_OPAQUE with command \&quot;opaque_enable_auto_nack\&quot; and vbucket 0&quot;, <br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;113 3: TAP (Producer) eq_tapq:replication_building_586_&#39;<a href='mailto:ns_1@10.1.3.147'>ns_1@10.1.3.147</a>&#39; - Sending TAP_OPAQUE with command \&quot;enable_checkpoint_sync\&quot; and vbucket 0&quot;, <br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;113 3: TAP (Producer) eq_tapq:replication_building_586_&#39;<a href='mailto:ns_1@10.1.3.147'>ns_1@10.1.3.147</a>&#39; - Sending TAP_OPAQUE with command \&quot;initial_vbucket_stream\&quot; and vbucket 586&quot;, <br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;113 3: Schedule cleanup of \&quot;eq_tapq:anon_74\&quot;&quot;, <br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;113 3: TAP (Producer) eq_tapq:replication_building_585_&#39;<a href='mailto:ns_1@10.1.3.147'>ns_1@10.1.3.147</a>&#39; - Clear the tap queues by force&quot;, <br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;113 3: TAP (Producer) eq_tapq:replication_building_586_&#39;<a href='mailto:ns_1@10.1.3.147'>ns_1@10.1.3.147</a>&#39; - Backfill is completed with VBuckets 586, &quot;, <br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;113 3: TAP (Producer) eq_tapq:replication_building_586_&#39;<a href='mailto:ns_1@10.1.3.147'>ns_1@10.1.3.147</a>&#39; - Sending TAP_OPAQUE with command \&quot;close_backfill\&quot; and vbucket 586&quot;, <br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;113 3: TAP (Producer) eq_tapq:replication_building_586_&#39;<a href='mailto:ns_1@10.1.3.147'>ns_1@10.1.3.147</a>&#39; - disconnected, keep alive for 300 seconds&quot;, <br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;113 3: TAP (Producer) eq_tapq:rebalance_586 - Sending TAP_OPAQUE with command \&quot;opaque_enable_auto_nack\&quot; and vbucket 0&quot;, <br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;113 3: TAP (Producer) eq_tapq:rebalance_586 - Sending TAP_OPAQUE with command \&quot;enable_checkpoint_sync\&quot; and vbucket 0&quot;, <br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;113 3: TAP (Producer) eq_tapq:rebalance_586 - Sending TAP_VBUCKET_SET with vbucket 586 and state \&quot;pending\&quot;&quot;, <br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;113 3: TAP (Producer) eq_tapq:rebalance_586 - VBucket &lt;586&gt; is going dead to complete vbucket takeover.&quot;, <br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;113 3: TAP (Producer) eq_tapq:rebalance_586 - Sending TAP_VBUCKET_SET with vbucket 586 and state \&quot;active\&quot;&quot;, <br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;113 3: TAP takeover is completed. Disconnecting tap stream &lt;eq_tapq:rebalance_586&gt;&quot;, <br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;113 3: TAP (Producer) eq_tapq:rebalance_586 - disconnected&quot;, <br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;113 3: TAP (Producer) eq_tapq:replication_building_586_&#39;<a href='mailto:ns_1@10.1.3.147'>ns_1@10.1.3.147</a>&#39; - Connection is closed by force.&quot;, <br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;113 3: TAP (Producer) eq_tapq:replication_building_587_&#39;<a href='mailto:ns_1@10.1.3.147'>ns_1@10.1.3.147</a>&#39; - Schedule the backfill for vbucket 587&quot;, <br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;113 3: TAP (Producer) eq_tapq:replication_building_587_&#39;<a href='mailto:ns_1@10.1.3.147'>ns_1@10.1.3.147</a>&#39; - Sending TAP_OPAQUE with command \&quot;opaque_enable_auto_nack\&quot; and vbucket 0&quot;, <br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;113 3: TAP (Producer) eq_tapq:replication_building_587_&#39;<a href='mailto:ns_1@10.1.3.147'>ns_1@10.1.3.147</a>&#39; - Sending TAP_OPAQUE with command \&quot;enable_checkpoint_sync\&quot; and vbucket 0&quot;, <br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;113 3: TAP (Producer) eq_tapq:replication_building_587_&#39;<a href='mailto:ns_1@10.1.3.147'>ns_1@10.1.3.147</a>&#39; - Sending TAP_OPAQUE with command \&quot;initial_vbucket_stream\&quot; and vbucket 587&quot;, <br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;113 3: Schedule cleanup of \&quot;eq_tapq:anon_75\&quot;&quot;, <br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;113 3: Schedule cleanup of \&quot;eq_tapq:rebalance_586\&quot;&quot;, <br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;113 3: TAP (Producer) eq_tapq:replication_building_586_&#39;<a href='mailto:ns_1@10.1.3.147'>ns_1@10.1.3.147</a>&#39; - Clear the tap queues by force&quot;, <br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;113 3: TAP (Producer) eq_tapq:rebalance_586 - Clear the tap queues by force&quot;, <br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;113 3: TAP (Producer) eq_tapq:replication_building_587_&#39;<a href='mailto:ns_1@10.1.3.147'>ns_1@10.1.3.147</a>&#39; - Backfill is completed with VBuckets 587, &quot;, <br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;113 3: TAP (Producer) eq_tapq:replication_building_587_&#39;<a href='mailto:ns_1@10.1.3.147'>ns_1@10.1.3.147</a>&#39; - Sending TAP_OPAQUE with command \&quot;close_backfill\&quot; and vbucket 587&quot;, <br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;113 3: TAP (Producer) eq_tapq:replication_building_587_&#39;<a href='mailto:ns_1@10.1.3.147'>ns_1@10.1.3.147</a>&#39; - disconnected, keep alive for 300 seconds&quot;, <br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;113 3: TAP (Producer) eq_tapq:rebalance_587 - Sending TAP_OPAQUE with command \&quot;opaque_enable_auto_nack\&quot; and vbucket 0&quot;, <br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;113 3: TAP (Producer) eq_tapq:rebalance_587 - Sending TAP_OPAQUE with command \&quot;enable_checkpoint_sync\&quot; and vbucket 0&quot;, <br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;113 3: TAP (Producer) eq_tapq:rebalance_587 - Sending TAP_VBUCKET_SET with vbucket 587 and state \&quot;pending\&quot;&quot;, <br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;113 3: TAP (Producer) eq_tapq:rebalance_587 - VBucket &lt;587&gt; is going dead to complete vbucket takeover.&quot;, <br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;113 3: TAP (Producer) eq_tapq:rebalance_587 - Sending TAP_VBUCKET_SET with vbucket 587 and state \&quot;active\&quot;&quot;, <br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;113 3: TAP takeover is completed. Disconnecting tap stream &lt;eq_tapq:rebalance_587&gt;&quot;, <br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;113 3: TAP (Producer) eq_tapq:rebalance_587 - disconnected&quot;, <br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;113 3: TAP (Producer) eq_tapq:replication_building_587_&#39;<a href='mailto:ns_1@10.1.3.147'>ns_1@10.1.3.147</a>&#39; - Connection is closed by force.&quot;, <br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;113 3: TAP (Producer) eq_tapq:replication_building_588_&#39;<a href='mailto:ns_1@10.1.3.147'>ns_1@10.1.3.147</a>&#39; - Schedule the backfill for vbucket 588&quot;, <br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;113 3: TAP (Producer) eq_tapq:replication_building_588_&#39;<a href='mailto:ns_1@10.1.3.147'>ns_1@10.1.3.147</a>&#39; - Sending TAP_OPAQUE with command \&quot;opaque_enable_auto_nack\&quot; and vbucket 0&quot;, <br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;113 3: TAP (Producer) eq_tapq:replication_building_588_&#39;<a href='mailto:ns_1@10.1.3.147'>ns_1@10.1.3.147</a>&#39; - Sending TAP_OPAQUE with command \&quot;enable_checkpoint_sync\&quot; and vbucket 0&quot;, <br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;113 3: TAP (Producer) eq_tapq:replication_building_588_&#39;<a href='mailto:ns_1@10.1.3.147'>ns_1@10.1.3.147</a>&#39; - Sending TAP_OPAQUE with command \&quot;initial_vbucket_stream\&quot; and vbucket 588&quot;, <br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;113 3: Schedule cleanup of \&quot;eq_tapq:anon_76\&quot;&quot;, <br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;113 3: Schedule cleanup of \&quot;eq_tapq:rebalance_587\&quot;&quot;, <br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;113 3: TAP (Producer) eq_tapq:replication_building_587_&#39;<a href='mailto:ns_1@10.1.3.147'>ns_1@10.1.3.147</a>&#39; - Clear the tap queues by force&quot;]}, <br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;undefined,[],0,true} <br/> ** Reason for termination == <br/> ** {abnormal,255} <br/> <br/> [error_logger:error,2012-08-14T10:24:04.859,<a href='mailto:ns_1@10.1.3.146'>ns_1@10.1.3.146</a>:error_logger:ale_error_logger_handler:log_report:72] <br/> =========================CRASH REPORT========================= <br/> &nbsp;&nbsp;crasher: <br/> &nbsp;&nbsp;&nbsp;&nbsp;initial call: ns_port_server:init/1 <br/> &nbsp;&nbsp;&nbsp;&nbsp;pid: &lt;0.22831.0&gt; <br/> &nbsp;&nbsp;&nbsp;&nbsp;registered_name: ns_port_memcached <br/> &nbsp;&nbsp;&nbsp;&nbsp;exception exit: {abnormal,255} <br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;in function gen_server:terminate/6 <br/> &nbsp;&nbsp;&nbsp;&nbsp;ancestors: [&lt;0.22830.0&gt;,ns_port_sup,ns_server_sup,ns_server_cluster_sup, <br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&lt;0.67.0&gt;] <br/> &nbsp;&nbsp;&nbsp;&nbsp;messages: [{&#39;EXIT&#39;,#Port&lt;0.18432&gt;,normal}] <br/> &nbsp;&nbsp;&nbsp;&nbsp;links: [&lt;0.22830.0&gt;] <br/> &nbsp;&nbsp;&nbsp;&nbsp;dictionary: [] <br/> &nbsp;&nbsp;&nbsp;&nbsp;trap_exit: true <br/> &nbsp;&nbsp;&nbsp;&nbsp;status: running <br/> &nbsp;&nbsp;&nbsp;&nbsp;heap_size: 121393 <br/> &nbsp;&nbsp;&nbsp;&nbsp;stack_size: 24 <br/> &nbsp;&nbsp;&nbsp;&nbsp;reductions: 109012 <br/> &nbsp;&nbsp;neighbours: windows server r2 2008 <br/> build #1583 MB-6222

rebalance failed because memcached died on windows

Bug Major Closed Fixed Public Jin Lim Iryna Mironava Tue, 14 Aug 2012 12:36:27 -0500 Wed, 9 Jan 2013 22:59:32 -0600 Fri, 31 Aug 2012 17:14:38 -0500 2.0-beta 2.0-beta couchbase-bucket 0 0 Iryna,<br/> <br/> Can you please increase the log level (probably -vvv) in memcached and redirect all the memcached / ep_eninge logs to a separate file and test the rebalance again?<br/> <br/> I didn&#39;t see any warning logs from memcached / ep_engine at the exit time:<br/> <br/> [ns_server:info,2012-08-14T10:24:04.844,<a href='mailto:ns_1@10.1.3.146'>ns_1@10.1.3.146</a>:&lt;0.24034.0&gt;:mc_connection:run_loop:190]mccouch connection was normally closed<br/> [user:info,2012-08-14T10:24:04.844,<a href='mailto:ns_1@10.1.3.146'>ns_1@10.1.3.146</a>:ns_port_memcached:ns_port_server:handle_info:107]Port server memcached on node &#39;<a href='mailto:ns_1@10.1.3.146'>ns_1@10.1.3.146</a>&#39; exited with status 255. Restarting.<br/> <br/> Regarding the log level and config, please get more information from Karan or Farshid.<br/> The memcached crash is no longer seen. The fix being merged here, <a href="http://review.couchbase.org/#/c/20383/,">http://review.couchbase.org/#/c/20383/,</a> must have addressed this issue.<br/> <br/> However, there is still a rebalance failure due to a different issue. Basically ns_server exited rebalance before completion. Please see snippets from the log below. QA team may want to open a new bug tracking this issue (first assign it to ns_server team for triaging). Thanks.<br/> <br/> er:info,2012-08-31T15:00:53.098,<a href='mailto:ns_1@10.3.121.142'>ns_1@10.3.121.142</a>:&lt;0.6808.1&gt;:diag_handler:log_all_tap_and_checkpoint_stats:130]end of logging tap &amp; checkpoint stats<br/> [ns_server:info,2012-08-31T15:00:58.442,<a href='mailto:ns_1@10.3.121.142'>ns_1@10.3.121.142</a>:&lt;0.857.0&gt;:ns_orchestrator:handle_info:258]Skipping janitor in state rebalancing: {rebalancing_state,&lt;0.714.1&gt;,<br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;{dict,2,16,16,8,80,48,<br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;{[],[],[],[],[],[],[],[],[],[],[],[],<br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;[],[],[],[]},<br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;{{[],[],<br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;[[&#39;<a href='mailto:ns_1@10.3.121.142'>ns_1@10.3.121.142</a>&#39;|<br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;0.31380208333333337]],<br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;[[&#39;<a href='mailto:ns_1@10.3.2.123'>ns_1@10.3.2.123</a>&#39;|0.0]],<br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;[],[],[],[],[],[],[],[],[],[],[],<br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;[]}}},<br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;[&#39;<a href='mailto:ns_1@10.3.121.142'>ns_1@10.3.121.142</a>&#39;,<br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&#39;<a href='mailto:ns_1@10.3.2.123'>ns_1@10.3.2.123</a>&#39;],<br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;[],[]}<br/> [ns_server:error,2012-08-31T15:00:58.989,<a href='mailto:ns_1@10.3.121.142'>ns_1@10.3.121.142</a>:&lt;0.6678.1&gt;:ns_replicas_builder:build_replicas_main:90]Got premature exit from one of ebucketmigrators: {&#39;EXIT&#39;,&lt;20019.17095.0&gt;,<br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;{badmatch,{error,timeout}}}<br/> [ns_server:error,2012-08-31T15:00:59.005,<a href='mailto:ns_1@10.3.121.142'>ns_1@10.3.121.142</a>:&lt;0.6678.1&gt;:misc:sync_shutdown_many_i_am_trapping_exits:1373]Shutdown of the following failed: [{&lt;20019.17095.0&gt;,<br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;{badmatch,{error,timeout}}}]<br/> [error_logger:error,2012-08-31T15:00:59.005,<a href='mailto:ns_1@10.3.121.142'>ns_1@10.3.121.142</a>:error_logger:ale_error_logger_handler:log_report:72]<br/> =========================CRASH REPORT=========================<br/> &nbsp;&nbsp;crasher:<br/> &nbsp;&nbsp;&nbsp;&nbsp;initial call: ebucketmigrator_srv:init/1<br/> &nbsp;&nbsp;&nbsp;&nbsp;pid: &lt;20019.17095.0&gt;<br/> &nbsp;&nbsp;&nbsp;&nbsp;registered_name: []<br/> &nbsp;&nbsp;&nbsp;&nbsp;exception error: no match of right hand side value {error,timeout}<br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;in function mc_client_binary:cmd_binary_vocal_recv/5<br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;in call from mc_client_binary:set_vbucket/3<br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;in call from ebucketmigrator_srv:&#39;-init/1-lc$^0/1-0-&#39;/3<br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;in call from ebucketmigrator_srv:init/1<br/> &nbsp;&nbsp;&nbsp;&nbsp;ancestors: [&lt;0.6678.1&gt;,&lt;0.6673.1&gt;,&lt;0.888.1&gt;,&lt;0.714.1&gt;]<br/> &nbsp;&nbsp;&nbsp;&nbsp;messages: []<br/> &nbsp;&nbsp;&nbsp;&nbsp;links: [#Port&lt;20019.19165&gt;,&lt;0.6678.1&gt;,#Port&lt;20019.19164&gt;]<br/> &nbsp;&nbsp;&nbsp;&nbsp;dictionary: []<br/> &nbsp;&nbsp;&nbsp;&nbsp;trap_exit: false<br/> &nbsp;&nbsp;&nbsp;&nbsp;status: running<br/> &nbsp;&nbsp;&nbsp;&nbsp;heap_size: 987<br/> &nbsp;&nbsp;&nbsp;&nbsp;stack_size: 24<br/> &nbsp;&nbsp;&nbsp;&nbsp;reductions: 1802<br/> &nbsp;&nbsp;neighbours:<br/> <br/> [ns_server:info,2012-08-31T15:00:59.005,<a href='mailto:ns_1@10.3.121.142'>ns_1@10.3.121.142</a>:&lt;0.6678.1&gt;:ns_replicas_builder_utils:kill_a_bunch_of_tap_names:59]Killed the following tap names on &#39;<a href='mailto:ns_1@10.3.121.142'>ns_1@10.3.121.142</a>&#39;: [&lt;&lt;&quot;replication_building_241_&#39;<a href='mailto:ns_1@10.3.2.123'>ns_1@10.3.2.123</a>&#39;&quot;&gt;&gt;]<br/> [ns_server:error,2012-08-31T15:00:59.005,<a href='mailto:ns_1@10.3.121.142'>ns_1@10.3.121.142</a>:&lt;0.6678.1&gt;:misc:try_with_maybe_ignorant_after:1409]Eating exception from ignorant after-block:<br/> {error,{badmatch,[{&lt;20019.17095.0&gt;,{badmatch,{error,timeout}}}]},<br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;[{misc,sync_shutdown_many_i_am_trapping_exits,1},<br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;{misc,try_with_maybe_ignorant_after,2},<br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;{misc,try_with_maybe_ignorant_after,2},<br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;{ns_replicas_builder,build_replicas_main,6},<br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;{proc_lib,init_p_do_apply,3}]}<br/> [ns_server:info,2012-08-31T15:00:59.005,<a href='mailto:ns_1@10.3.121.142'>ns_1@10.3.121.142</a>:&lt;0.6673.1&gt;:ns_single_vbucket_mover:mover_inner_old_style:194]Got exit message (parent is &lt;0.888.1&gt;). Exiting...<br/> {&#39;EXIT&#39;,&lt;0.6678.1&gt;,<br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;{replicator_died,{&#39;EXIT&#39;,&lt;20019.17095.0&gt;,{badmatch,{error,timeout}}}}}<br/> <br/> Rebalance exited with reason {exited,<br/> {&#39;EXIT&#39;,&lt;0.6678.1&gt;,<br/> {replicator_died,<br/> {&#39;EXIT&#39;,&lt;20019.17095.0&gt;,<br/> {badmatch,{error,timeout}}}}}} server log (info.1 &amp; error.1) attached. Integrated in github-ep-engine-2-0 #421 (See [<a href="http://qa.hq.northscale.net/job/github-ep-engine-2-0/421/">http://qa.hq.northscale.net/job/github-ep-engine-2-0/421/</a>])<br/> &nbsp;&nbsp;&nbsp;&nbsp;<a href="http://www.couchbase.com/issues/browse/MB-6222" title="rebalance failed because memcached died on windows"><strike>MB-6222</strike></a> Requeue failed bgfetch requests for retry (Revision 4882ef87ccd7ba80dad6f2299d733979bf9763d0)<br/> <br/> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;Result = SUCCESS<br/> Jin Lim : <br/> Files : <br/> * src/vbucket.hh<br/> * src/bgfetcher.cc<br/> * src/vbucket.cc<br/> * src/bgfetcher.hh<br/> Date of First Response Wed, 15 Aug 2012 19:32:37 -0500 Rank 4356 Time In Status