Forskjell mellom versjoner av «Bomba»

Fra Bitraf
Hopp til navigering Hopp til søk
(Opprettet siden Bomba)
 
(2023: document mqtt service incident.)
 
(3 mellomliggende revisjoner av samme bruker vises ikke)
Linje 5: Linje 5:
  
 
=== 2023 ===
 
=== 2023 ===
 +
; 2023-10-25 : today the mqtt service was down, reported around 12-ish (hard to tell when my browser doesn't tell true time in slack). There was announced a power outage early today (07 - 08 local time). So probably the bomba server got powered off / on. The server itself was up, but both the mosquitto and traefik service was disabled
 +
<pre>
 +
tingo@bomba:~$ systemctl status docker-service-mosquitto
 +
○ docker-service-mosquitto.service - Docker service: mosquitto
 +
    Loaded: loaded (/etc/systemd/system/docker-service-mosquitto.service; disabled; preset: enabled)
 +
    Active: inactive (dead)
 +
tingo@bomba:~$ systemctl status docker-service-traefik
 +
○ docker-service-traefik.service - Docker service: traefik
 +
    Loaded: loaded (/etc/systemd/system/docker-service-traefik.service; disabled; preset: enabled)
 +
    Active: inactive (dead)
 +
</pre>
 +
Fixed by manually enabling and starting those services. I'll have to check if there is an error in our configuration of this server. [[Bruker:Tingo|Tingo]] ([[Brukerdiskusjon:Tingo|diskusjon]]) 25. okt. 2023 kl. 18:10 (CEST)
 +
 +
; 2023-10-01 : testing av oppsettet. trygvis og jeg finner og retter feil, til slutt er det kun en liten feil i traefik-oppsettet, den blir funnet og fikset.  tools virker igjen. [[Bruker:Tingo|Tingo]] ([[Brukerdiskusjon:Tingo|diskusjon]]) 1. okt. 2023 kl. 17:16 (CEST)
 +
 
; 2023-09-30 : jeg stikker innom Bitraf, tester nettverksoppsettet i ansible, deployer det og setter bomba tilbake i datarommet, samt tester at jeg kan logge inn på den. [[Bruker:Tingo|Tingo]] ([[Brukerdiskusjon:Tingo|diskusjon]]) 30. sep. 2023 kl. 18:18 (CEST)
 
; 2023-09-30 : jeg stikker innom Bitraf, tester nettverksoppsettet i ansible, deployer det og setter bomba tilbake i datarommet, samt tester at jeg kan logge inn på den. [[Bruker:Tingo|Tingo]] ([[Brukerdiskusjon:Tingo|diskusjon]]) 30. sep. 2023 kl. 18:18 (CEST)
 +
: ddrescue av den gamle disken er ferdig, den har klart å redde neste hele disken til et image.
 +
<pre>
 +
Trimming failed blocks... (forwards)       
 +
    ipos:  66733 MB, non-trimmed:        0 B,  current rate:      0 B/s
 +
    opos:  66733 MB, non-scraped:        0 B,  average rate:    563 kB/s
 +
non-tried:        0 B,  bad-sector:    4493 kB,    error rate:      0 B/s
 +
  rescued:  89995 MB,  bad areas:      468,        run time:  1d 20h 20m
 +
pct rescued:  99.99%, read errors:    9254,  remaining time:        n/a
 +
                              time since last successful read:      2m  6s
 +
Scraping failed blocks... (forwards)
 +
Finished
 +
</pre>
 +
så har vi dataene hvis vi trenger det.[[Bruker:Tingo|Tingo]] ([[Brukerdiskusjon:Tingo|diskusjon]]) 30. sep. 2023 kl. 18:23 (CEST)
 +
: oppsett av sertifikater, bruk av traefik som proxy (fordi den kan fornye sertifikater automagisk), endre mqqt-server slik at den kjører i en docker container (utført av [[Bruker:Trygvis|trygvis]]) [[Bruker:Tingo|Tingo]] ([[Brukerdiskusjon:Tingo|diskusjon]]) 1. okt. 2023 kl. 17:14 (CEST)
 +
  
 
; 2023-09-28 : etter at Debian er installert, og maskinen på nett, så starter jeg på jobben med kontroll og deployment av ansible-oppsettet på bomba. Det er mye som mangler, blant annet nettverksoppsett. Heldigvis ligger mqtt-server oppsettet i ansible, og det virker komplett. Etter en lang kveld er alt unntatt nettverksopsettet testet, men sertifikater til mqtt-serveren mangler (ligger ikke i ansible-oppsettet og jeg er for trøtt til å finne ut hvordan dette skal settes opp manuelt). Avslutter arbeidet for kvelden. [[Bruker:Tingo|Tingo]] ([[Brukerdiskusjon:Tingo|diskusjon]]) 30. sep. 2023 kl. 18:18 (CEST)
 
; 2023-09-28 : etter at Debian er installert, og maskinen på nett, så starter jeg på jobben med kontroll og deployment av ansible-oppsettet på bomba. Det er mye som mangler, blant annet nettverksoppsett. Heldigvis ligger mqtt-server oppsettet i ansible, og det virker komplett. Etter en lang kveld er alt unntatt nettverksopsettet testet, men sertifikater til mqtt-serveren mangler (ligger ikke i ansible-oppsettet og jeg er for trøtt til å finne ut hvordan dette skal settes opp manuelt). Avslutter arbeidet for kvelden. [[Bruker:Tingo|Tingo]] ([[Brukerdiskusjon:Tingo|diskusjon]]) 30. sep. 2023 kl. 18:18 (CEST)

Nåværende revisjon fra 25. okt. 2023 kl. 17:10

Bomba er en server i Bitraf in IT infrastruktur. Den har vært med Bitraf siden oppstarten.

Logg

(Signer loggen ved å legge til --Tingo (diskusjon) 30. sep. 2023 kl. 18:18 (CEST)) på en egen linje på slutten av innlegget eller trykk på signatur-knappen i menyen).

2023

2023-10-25 
today the mqtt service was down, reported around 12-ish (hard to tell when my browser doesn't tell true time in slack). There was announced a power outage early today (07 - 08 local time). So probably the bomba server got powered off / on. The server itself was up, but both the mosquitto and traefik service was disabled
tingo@bomba:~$ systemctl status docker-service-mosquitto
○ docker-service-mosquitto.service - Docker service: mosquitto
     Loaded: loaded (/etc/systemd/system/docker-service-mosquitto.service; disabled; preset: enabled)
     Active: inactive (dead)
tingo@bomba:~$ systemctl status docker-service-traefik
○ docker-service-traefik.service - Docker service: traefik
     Loaded: loaded (/etc/systemd/system/docker-service-traefik.service; disabled; preset: enabled)
     Active: inactive (dead)

Fixed by manually enabling and starting those services. I'll have to check if there is an error in our configuration of this server. Tingo (diskusjon) 25. okt. 2023 kl. 18:10 (CEST)

2023-10-01 
testing av oppsettet. trygvis og jeg finner og retter feil, til slutt er det kun en liten feil i traefik-oppsettet, den blir funnet og fikset. tools virker igjen. Tingo (diskusjon) 1. okt. 2023 kl. 17:16 (CEST)
2023-09-30 
jeg stikker innom Bitraf, tester nettverksoppsettet i ansible, deployer det og setter bomba tilbake i datarommet, samt tester at jeg kan logge inn på den. Tingo (diskusjon) 30. sep. 2023 kl. 18:18 (CEST)
ddrescue av den gamle disken er ferdig, den har klart å redde neste hele disken til et image.
Trimming failed blocks... (forwards)         
     ipos:   66733 MB, non-trimmed:        0 B,  current rate:       0 B/s
     opos:   66733 MB, non-scraped:        0 B,  average rate:    563 kB/s
non-tried:        0 B,  bad-sector:    4493 kB,    error rate:       0 B/s
  rescued:   89995 MB,   bad areas:      468,        run time:  1d 20h 20m
pct rescued:   99.99%, read errors:     9254,  remaining time:         n/a
                              time since last successful read:      2m  6s
Scraping failed blocks... (forwards)
Finished

så har vi dataene hvis vi trenger det.Tingo (diskusjon) 30. sep. 2023 kl. 18:23 (CEST)

oppsett av sertifikater, bruk av traefik som proxy (fordi den kan fornye sertifikater automagisk), endre mqqt-server slik at den kjører i en docker container (utført av trygvis) Tingo (diskusjon) 1. okt. 2023 kl. 17:14 (CEST)


2023-09-28 
etter at Debian er installert, og maskinen på nett, så starter jeg på jobben med kontroll og deployment av ansible-oppsettet på bomba. Det er mye som mangler, blant annet nettverksoppsett. Heldigvis ligger mqtt-server oppsettet i ansible, og det virker komplett. Etter en lang kveld er alt unntatt nettverksopsettet testet, men sertifikater til mqtt-serveren mangler (ligger ikke i ansible-oppsettet og jeg er for trøtt til å finne ut hvordan dette skal settes opp manuelt). Avslutter arbeidet for kvelden. Tingo (diskusjon) 30. sep. 2023 kl. 18:18 (CEST)
Tools-systemet er nede, og jensa oppdager at det er diskfeil på Bomba, den vil ikke boote. Maskinen blir tatt ut av server-rommet, demontert og vi starter redding av dataene på disken (ved bruk av ddrescue og et usb til sata adapter som vi har lånt av en annen Bitraffer). Mens diskredding pågår (på en anne maskin) drar jensa til Clas Ohlson og kjøper en ny SSD til bomba. Den nye SSD'en blir installert i bomba, maskinen skrudd sammen, og jeg starter installasjon av nyeste Debian (12 Bookworm) på maskinen. Tingo (diskusjon) 30. sep. 2023 kl. 18:18 (CEST)

Tidligere data er ikke i loggen her.

Om maskinen

Bomba er en Intel-basert Mac mini fra 2010.