Closed
Bug 1127375
Opened 9 years ago
Closed 9 years ago
frequent mac address changes from a set of IPs in releng.scl3
Categories
(Infrastructure & Operations :: RelOps: General, task)
Tracking
(Not tracked)
RESOLVED
FIXED
People
(Reporter: dcurado, Assigned: arich)
Details
Attachments
(1 file)
|
241.75 KB,
text/plain
|
Details |
I am working with Dustin on this issue.
|
||
Comment 1•9 years ago
|
||
Just to see what's up here, I made a little text table. OK, it's a big one. MACs are in columns, and the IPs have been translated to hostnames.
> 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 2 2 6 6 a a a a b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b
> 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 c c c c c c c c 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4
> : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :
> 0 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 7 7 c c 1 1 1 1 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9
> a 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 6 6 2 2 6 6 6 6 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9
> : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :
> 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 8 8 1 1 2 2 2 2 b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b
> c 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 a a 7 7 d d d d a a a a a a a a a a a a a a a a a a a a a a a a a a a a a a a a a a a
> : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :
> 5 0 0 0 0 0 0 0 0 0 6 e e e e e e e e e e e e e e e e e e e e e e e e e e e e 5 5 3 3 8 8 8 8 a a a a a a a a a a a a a a a a a a a a a a a a a a a a a a a a a a a
> 3 9 9 9 9 9 9 9 9 9 f d d d d d d d d d d d d d d d d d d d d d d d d d d d d 1 1 8 8 d d d d 6 6 6 6 6 6 6 6 8 8 8 8 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9
> : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :
> 2 2 2 2 8 8 8 8 8 8 1 e e e e e e e e e e e e e e e e e e e e e e e e e e e e 4 4 4 4 1 1 2 2 9 9 9 9 a a a a 8 8 8 8 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 3 3 3 3
> 4 7 a a 1 2 2 2 3 3 9 5 5 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 9 9 3 3 8 8 7 7 4 7 8 d 5 9 a c a a a b a b b b c c c c d d d d e e e e e e e 4 6 6 6
> : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :
> 1 9 b b 9 3 5 9 1 1 4 f f 0 0 0 0 0 0 1 1 1 1 2 2 2 2 2 3 3 3 4 5 5 6 6 6 6 7 e e 5 5 7 7 d d 0 1 2 4 3 e 2 4 7 7 9 6 4 6 e f 5 6 6 b 1 1 5 b 0 2 4 9 9 a a 9 2 8 d
> 6 b a b 5 0 4 e 5 9 d 1 2 2 4 5 6 9 d 1 2 3 5 2 3 6 8 9 4 b e 1 0 2 4 9 a e 8 c d 0 8 c d 8 9 0 c 0 c 4 c 4 4 a e 2 e 6 a a e 2 6 a e 2 a e e e 6 a 6 a 2 e a 2 a e
> tableau2.metrics * *
> tableau1.metrics * *
> fuzzer-linux6.sec * *
> fuzzer-win3.sec * *
> t-w864-ix-146-mgmt.inband.releng * * * * * * * * * * * * * * * * * * * * * * * * * * * * * *
> t-w864-ix-147-mgmt.inband.releng * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * *
> t-w864-ix-148-mgmt.inband.releng * * * * * * * * * * * * * * * * * * * * * * * * * * * * * *
> t-w864-ix-149-mgmt.inband.releng * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * *
> t-w864-ix-150-mgmt.inband.releng * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * *
> t-w864-ix-151-mgmt.inband.releng * *
> t-w864-ix-152-mgmt.inband.releng * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * *
> t-w864-ix-153-mgmt.inband.releng * * * * * * * * * * * * * * * * * * * * * * * * * * * *
> t-w864-ix-154-mgmt.inband.releng * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * *
> t-w864-ix-155-mgmt.inband.releng * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * *
> t-w864-ix-156-mgmt.inband.releng * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * *
> t-w864-ix-157-mgmt.inband.releng * * * * * * * * *
> t-w864-ix-158-mgmt.inband.releng * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * *
> t-w864-ix-159-mgmt.inband.releng * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * *
> t-w864-ix-160-mgmt.inband.releng * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * *
> t-w864-ix-161-mgmt.inband.releng * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * *
> t-w864-ix-162-mgmt.inband.releng * * * * * * * * * * * * * * * * * * * * * * * * * * * * * *
> t-xp32-ix-131-mgmt.inband.releng * *
> t-xp32-ix-132-mgmt.inband.releng * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * *
> t-xp32-ix-133-mgmt.inband.releng * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * *
> t-xp32-ix-134-mgmt.inband.releng * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * *
> t-xp32-ix-135-mgmt.inband.releng * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * *
> t-xp32-ix-136-mgmt.inband.releng * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * *
> t-xp32-ix-138-mgmt.inband.releng * * * * * * * * * * * * * * * * * * * * * * * * * *
> t-xp32-ix-139-mgmt.inband.releng * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * *
> t-xp32-ix-140-mgmt.inband.releng * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * *
> t-xp32-ix-141-mgmt.inband.releng * * * * * * * * * * * * * * * * * * * * * * * * * * * *
> t-xp32-ix-142-mgmt.inband.releng * * * * * * * * * * * * * * * * * * * * * * * * * * * *
> t-xp32-ix-143-mgmt.inband.releng * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * *
> t-xp32-ix-144-mgmt.inband.releng * *
> t-xp32-ix-145-mgmt.inband.releng * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * *
> t-xp32-ix-146-mgmt.inband.releng * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * *
> t-xp32-ix-147-mgmt.inband.releng * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * *
> t-xp32-ix-148-mgmt.inband.releng * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * *
> t-xp32-ix-149-mgmt.inband.releng * *
> t-xp32-ix-150-mgmt.inband.releng * * * * * * * * * * * * * * * * * * * * * * * * * * * * * *
> t-xp32-ix-151-mgmt.inband.releng * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * *
> t-xp32-ix-152-mgmt.inband.releng * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * *
> t-xp32-ix-153-mgmt.inband.releng * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * *
> t-xp32-ix-154-mgmt.inband.releng * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * *
> pdu1.r202-2.inband.releng * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * *
> t-xp32-ix-137-mgmt.inband.releng * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * *|
|
||
Comment 2•9 years ago
|
||
I'll happily ignore the non-releng stuff. Tableau, yuck. And sec's probably doing something crazy.
So that big block of stars spans the b4:99:ba MACs. That's HP's vendor prefix. So there are about 35 MACs that seem to be randomly showing up at 38 IPs.
Flipping back to IPs, it's precisely 10.26.19.210-254, which happens to be the dynamic range for that subnet per the DHCP configuration:
subnet 10.26.16.0 netmask 255.255.252.0 {
pool {
...
range 10.26.19.210 10.26.19.254;
}
...
}
I don't know how to do an inventory lookup by MAC to figure out what those HPs are, but I'm fairly certain it's the DL120G7's that we just retired. Those must have gotten their static DHCP leases yanked, and gone to dynamic allocation, where dhcpd happily handed out the IPs we told it to.
Here's a slightly more useful version of the table -- switching back to IPs (since we know where they are coming from) and sorting by the smallest MAC for each IP:
> 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 2 2 6 6 a a a a b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b
> 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 c c c c c c c c 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4
> : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :
> 0 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 7 7 c c 1 1 1 1 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9
> a 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 6 6 2 2 6 6 6 6 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9
> : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :
> 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 8 8 1 1 2 2 2 2 b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b
> c 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 a a 7 7 d d d d a a a a a a a a a a a a a a a a a a a a a a a a a a a a a a a a a a a
> : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :
> 5 0 0 0 0 0 0 0 0 0 6 e e e e e e e e e e e e e e e e e e e e e e e e e e e e 5 5 3 3 8 8 8 8 a a a a a a a a a a a a a a a a a a a a a a a a a a a a a a a a a a a
> 3 9 9 9 9 9 9 9 9 9 f d d d d d d d d d d d d d d d d d d d d d d d d d d d d 1 1 8 8 d d d d 6 6 6 6 6 6 6 6 8 8 8 8 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9
> : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :
> 2 2 2 2 8 8 8 8 8 8 1 e e e e e e e e e e e e e e e e e e e e e e e e e e e e 4 4 4 4 1 1 2 2 9 9 9 9 a a a a 8 8 8 8 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 3 3 3 3
> 4 7 a a 1 2 2 2 3 3 9 5 5 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 9 9 3 3 8 8 7 7 4 7 8 d 5 9 a c a a a b a b b b c c c c d d d d e e e e e e e 4 6 6 6
> : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :
> 1 9 b b 9 3 5 9 1 1 4 f f 0 0 0 0 0 0 1 1 1 1 2 2 2 2 2 3 3 3 4 5 5 6 6 6 6 7 e e 5 5 7 7 d d 0 1 2 4 3 e 2 4 7 7 9 6 4 6 e f 5 6 6 b 1 1 5 b 0 2 4 9 9 a a 9 2 8 d
> 6 b a b 5 0 4 e 5 9 d 1 2 2 4 5 6 9 d 1 2 3 5 2 3 6 8 9 4 b e 1 0 2 4 9 a e 8 c d 0 8 c d 8 9 0 c 0 c 4 c 4 4 a e 2 e 6 a a e 2 6 a e 2 a e e e 6 a 6 a 2 e a 2 a e
> 10.26.19.253 * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * *
> 10.26.19.215 * *
> 10.26.19.223 * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * *
> 10.26.19.221 * * * * * * * * *
> 10.26.19.230 * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * *
> 10.26.19.245 * *
> 10.26.19.240 * *
> 10.26.19.226 * * * * * * * * * * * * * * * * * * * * * * * * * * * * * *
> 10.26.19.238 * * * * * * * * * * * * * * * * * * * * * * * * * * * *
> 10.26.19.242 * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * *
> 10.26.19.228 * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * *
> 10.26.19.239 * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * *
> 10.26.19.212 * * * * * * * * * * * * * * * * * * * * * * * * * * * * * *
> 10.26.19.210 * * * * * * * * * * * * * * * * * * * * * * * * * * * * * *
> 10.26.19.211 * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * *
> 10.26.19.217 * * * * * * * * * * * * * * * * * * * * * * * * * * * *
> 10.26.19.224 * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * *
> 10.26.19.234 * * * * * * * * * * * * * * * * * * * * * * * * * *
> 10.26.19.237 * * * * * * * * * * * * * * * * * * * * * * * * * * * *
> 10.26.19.218 * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * *
> 10.26.19.227 * *
> 10.26.19.247 * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * *
> 10.26.19.220 * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * *
> 10.26.19.213 * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * *
> 10.26.19.229 * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * *
> 10.26.19.241 * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * *
> 10.26.19.243 * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * *
> 10.26.19.236 * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * *
> 10.26.19.244 * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * *
> 10.26.19.214 * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * *
> 10.26.19.249 * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * *
> 10.22.27.136 * *
> 10.22.25.3 * *
> 10.22.92.152 * *
> 10.22.92.153 * *
> 10.26.19.225 * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * *
> 10.26.19.222 * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * *
> 10.26.19.250 * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * *
> 10.26.19.219 * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * *
> 10.26.19.216 * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * *
> 10.26.19.232 * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * *
> 10.26.19.254 * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * *
> 10.26.19.248 * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * *
> 10.26.19.231 * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * *
> 10.26.19.235 * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * *
> 10.26.19.246 * * * * * * * * * * * * * * * * * * * * * * * * * * * * * *|
|
||
Comment 3•9 years ago
|
||
Let's narrow that to just the SuperMicro MACs, and bring in some data on the configured MAC:IP mapping from DHCP:
> 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
> 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
> : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :
> 0 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2
> a 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5
> : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :
> 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9
> c 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
> : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :
> 5 0 0 0 0 0 0 0 0 0 6 e e e e e e e e e e e e e e e e e e e e e e e e e e e e
> 3 9 9 9 9 9 9 9 9 9 f d d d d d d d d d d d d d d d d d d d d d d d d d d d d
> : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :
> 2 2 2 2 8 8 8 8 8 8 1 e e e e e e e e e e e e e e e e e e e e e e e e e e e e
> 4 7 a a 1 2 2 2 3 3 9 5 5 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6
> : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :
> 1 9 b b 9 3 5 9 1 1 4 f f 0 0 0 0 0 0 1 1 1 1 2 2 2 2 2 3 3 3 4 5 5 6 6 6 6 7
> 6 b a b 5 0 4 e 5 9 d 1 2 2 4 5 6 9 d 1 2 3 5 2 3 6 8 9 4 b e 1 0 2 4 9 a e 8
> 10.26.19.215 ! *
> 10.26.19.223 ! *
> 10.26.19.221 ! ! *
> 10.26.19.245 ! *
> 10.26.19.240 ! *
> 10.26.19.226 ! ! *
> 10.26.19.238 ! *
> 10.26.19.242 ! *
> 10.26.19.228 ! ! *
> 10.26.19.212 ! *
> 10.26.19.239 ! *
> 10.26.19.210 ! *
> 10.26.19.211 ! *
> 10.26.19.217 ! *
> 10.26.19.237 ! *
> 10.26.19.234 ! *
> 10.26.19.218 ! *
> 10.26.19.227 ! *
The '!' here indicate that the IP and MAC don't belong together. Intrerestingly, those cluster in a sub-range of the Supermicro MAC space, and a search of svn history for a few suggests they're the old ix700C's.
It's worth noting that this *is* causing IPMI outages and makes the affected (production) machines impossible to reimage. So good on Dave for catching it!
A few options:
* completely power-down and move these hosts to storage
* move or remove the dynamic range config from DHCP
* renumber the "real" hosts out of the dynamic range
We should also add to the decom list that hosts should not be removed from DHCP before they're removed from the network.Assignee: relops → dustin
|
|
||
Updated•9 years ago
|
Assignee: dustin → arich
|
Assignee | |
Comment 4•9 years ago
|
||
The following hosts have been moved into the non-dynamic range, but I suspect that their IPMI got knocked offline by the hosts attempting to steal their IPs. Vinh, could you please connect to the console and make sure that each of these is set to get its network info via dhcp? If it is, please swap it to static and back to dhcp to get it a kick so it will try again: t-w864-ix-146-mgmt.inband.releng.scl3.mozilla.com t-w864-ix-147-mgmt.inband.releng.scl3.mozilla.com t-w864-ix-148-mgmt.inband.releng.scl3.mozilla.com t-w864-ix-149-mgmt.inband.releng.scl3.mozilla.com t-w864-ix-150-mgmt.inband.releng.scl3.mozilla.com t-w864-ix-151-mgmt.inband.releng.scl3.mozilla.com t-w864-ix-152-mgmt.inband.releng.scl3.mozilla.com t-w864-ix-153-mgmt.inband.releng.scl3.mozilla.com t-w864-ix-154-mgmt.inband.releng.scl3.mozilla.com t-w864-ix-155-mgmt.inband.releng.scl3.mozilla.com t-w864-ix-156-mgmt.inband.releng.scl3.mozilla.com t-w864-ix-157-mgmt.inband.releng.scl3.mozilla.com t-w864-ix-158-mgmt.inband.releng.scl3.mozilla.com t-w864-ix-159-mgmt.inband.releng.scl3.mozilla.com t-w864-ix-160-mgmt.inband.releng.scl3.mozilla.com t-w864-ix-161-mgmt.inband.releng.scl3.mozilla.com t-w864-ix-162-mgmt.inband.releng.scl3.mozilla.com t-xp32-ix-131-mgmt.inband.releng.scl3.mozilla.com t-xp32-ix-132-mgmt.inband.releng.scl3.mozilla.com t-xp32-ix-133-mgmt.inband.releng.scl3.mozilla.com t-xp32-ix-134-mgmt.inband.releng.scl3.mozilla.com t-xp32-ix-135-mgmt.inband.releng.scl3.mozilla.com t-xp32-ix-136-mgmt.inband.releng.scl3.mozilla.com t-xp32-ix-137-mgmt.inband.releng.scl3.mozilla.com t-xp32-ix-138-mgmt.inband.releng.scl3.mozilla.com t-xp32-ix-139-mgmt.inband.releng.scl3.mozilla.com t-xp32-ix-140-mgmt.inband.releng.scl3.mozilla.com t-xp32-ix-141-mgmt.inband.releng.scl3.mozilla.com t-xp32-ix-142-mgmt.inband.releng.scl3.mozilla.com t-xp32-ix-143-mgmt.inband.releng.scl3.mozilla.com t-xp32-ix-144-mgmt.inband.releng.scl3.mozilla.com t-xp32-ix-145-mgmt.inband.releng.scl3.mozilla.com t-xp32-ix-146-mgmt.inband.releng.scl3.mozilla.com t-xp32-ix-147-mgmt.inband.releng.scl3.mozilla.com t-xp32-ix-148-mgmt.inband.releng.scl3.mozilla.com t-xp32-ix-149-mgmt.inband.releng.scl3.mozilla.com t-xp32-ix-150-mgmt.inband.releng.scl3.mozilla.com t-xp32-ix-151-mgmt.inband.releng.scl3.mozilla.com t-xp32-ix-152-mgmt.inband.releng.scl3.mozilla.com t-xp32-ix-153-mgmt.inband.releng.scl3.mozilla.com t-xp32-ix-154-mgmt.inband.releng.scl3.mozilla.com
|
|
Assignee | |
Updated•9 years ago
|
Flags: needinfo?(vhua)
|
Reporter | |
Comment 5•9 years ago
|
||
Our syslogging system is no longer getting pelted by syslog messages about mac addr changes. Thank you!
|
|
Assignee | |
Comment 6•9 years ago
|
||
vinh: these are still not responding on the proper IP: t-w864-ix-149-mgmt.inband.releng.scl3.mozilla.com t-w864-ix-150-mgmt.inband.releng.scl3.mozilla.com t-w864-ix-155-mgmt.inband.releng.scl3.mozilla.com t-w864-ix-159-mgmt.inband.releng.scl3.mozilla.com t-w864-ix-161-mgmt.inband.releng.scl3.mozilla.com t-w864-ix-162-mgmt.inband.releng.scl3.mozilla.com t-xp32-ix-137-mgmt.inband.releng.scl3.mozilla.com t-xp32-ix-138-mgmt.inband.releng.scl3.mozilla.com t-xp32-ix-139-mgmt.inband.releng.scl3.mozilla.com
|
|
Assignee | |
Comment 7•9 years ago
|
||
It turned out that a bunch of those had lost the mozilla ipmi user info at some point. With that corrected and the mc reset, I'm down to the following which are not responding: t-xp32-ix-137-mgmt.inband.releng.scl3.mozilla.com t-w864-ix-155-mgmt.inband.releng.scl3.mozilla.com
|
|
Assignee | |
Comment 8•9 years ago
|
||
and those last two weren't configured to use dhcp. That's also been fixed, so we have everything in 10.26.16.0/22 the right IP range and responding to ping now.
|
|
Reporter | |
Comment 9•9 years ago
|
||
Weeeeee! Thanks again!
|
|
Assignee | |
Comment 10•9 years ago
|
||
dave confirms that he's not seeing any more issues. Note that we have 7 more IPs in the inband network before we're out, so hopefully we'll be removing machines, not adding them.
Status: NEW → RESOLVED
Closed: 9 years ago
Flags: needinfo?(vhua)
Resolution: --- → FIXED
You need to log in
before you can comment on or make changes to this bug.
Description
•