Al Mòdul 1 vas llegir que a Unix «el text pla és la interfície universal». Sonava a declaració de principis. A la lliçó anterior vas veure el mecanisme que la fa possible —canonades i redirecció— i aquí arriben les eines que li donen sentit: un conjunt de programes petits, escrits fa quaranta anys, que saben retallar, ordenar, comptar, substituir i agregar text, i que combinats resolen en una línia el que en un altre entorn exigiria un programa.

Aquesta és la promesa concreta de la lliçó: reserves.csv i acces.log són fitxers de text, i la Marta necessita informes. En acabar els podràs produir sense obrir un full de càlcul i sense escriure codi, i —més important— sabràs quan aquestes eines deixen de ser la resposta correcta.

1. cut: retallar columnes
2. tr: traduir, esborrar i comprimir
3. sort: ordenar de debò
4. uniq: comptar aparicions
5. paste, join i comm: comparar llistats
6. sed: l'editor de flux
7. awk: el llenguatge dels camps
8. Taula de decisió: quina eina i quan
9. Cas A: informe de facturació per a la Marta
10. Casos B i C: rutes amb errors i IP anòmales

Extreu parts de cada línia, per camps o per caràcters.

cut és rapidíssim i té un límit seriós: no entén delimitadors repetits. Amb un fitxer alineat per espais, cada espai de més compta com un camp buit:

Sortida buida: el camp 2 és l'espai entre GET i el següent. Per a sortides separades per espais variables —que és la de gairebé qualsevol ordre— l'eina correcta és awk, que tracta qualsevol bloc de blancs com un únic separador. cut per a formats amb delimitador fix (CSV, /etc/passwd); awk per a tota la resta.

tr opera caràcter a caràcter i només llegeix de stdin.

Ja l'has vist en acció: tr -s ' ' resol el problema de cut de l'apartat anterior. Altres usos habituals: tr -d '\r' per netejar fitxers que vénen de Windows —una font clàssica de fallades incomprensibles— i tr -cd '[:print:]\n' per eliminar caràcters de control d'un abocament.

La sintaxi de -k és la que més es malinterpreta. -kN significa «des del camp N fins al final de la línia», no «pel camp N». Per ordenar només per un camp cal escriure -kN,N.

-t';' fixa el separador, -k6,6nr ordena pel camp 6 de manera numèrica i inversa. Els modificadors n i r s'enganxen al -k perquè s'apliquin només a aquell camp; posats solts afectarien tota la línia.

-V és específic i molt útil en el nostre cas: ls /opt/tramontana/releases/ | sort -V ordena 3.1.0, 3.2.0, 3.2.1, 3.3.0 correctament, mentre que un sort normal posaria 3.10.0 abans que 3.2.0.

Recorda de 03-01 que el resultat de sort depèn de la configuració regional. Quan la sortida s'hagi de comparar o versionar, LC_ALL=C sort.

uniq només compara línies adjacents. No és un defecte: és el que li permet processar fitxers enormes sense memòria. La conseqüència és que exigeix entrada ordenada.

D'aquí el cavall de batalla de l'anàlisi de registres, que ja vas fer servir sense explicació:

Agrupa el que és igual, compta cada grup i ordena per freqüència descendent. És la resposta a qualsevol pregunta de la forma «què és el que més es repeteix?».

paste enganxa fitxers costat per costat (paste -d';' a.txt b.txt). join fa una unió relacional per un camp comú i exigeix tots dos fitxers ordenats per ell. comm compara dos fitxers ordenats i produeix tres columnes: només al primer, només al segon, a tots dos.

Sense sortida: les cinc cases del catàleg tenen almenys una reserva. -23 suprimeix les columnes 2 i 3 i deixa només «al catàleg però sense reserves», que és exactament la pregunta. <(...) és una substitució de procés: Bash lliura la sortida d'aquella ordre com si fos un fitxer, cosa que evita crear temporals.

sed llegeix l'entrada línia a línia, i per a cadascuna executa les ordres que li has donat i, tret que li diguis el contrari, la imprimeix. Aquest cicle ho explica tot: sed no carrega el fitxer a la memòria, per això processa fitxers de gigabytes.

s/patró/reemplaçament/indicadors, amb aquests indicadors:

El delimitador no ha de ser per força /: qualsevol caràcter serveix, i fer-ne servir un altre evita la «tanca de barres» quan el patró conté rutes.

Els grups de captura funcionen com a les expressions regulars: \1, \2… els reutilitzen al reemplaçament i & representa tot el que ha coincidit. Amb -E no cal escapar parèntesis ni claus:

Amb -n, sed no imprimeix res pel seu compte i només surt el que p selecciona: sed -n '/ERROR 500/p' errors.log retorna les 41 línies d'error, és a dir, sed imitant grep. Diverses ordres s'encadenen amb -e repetit o separant-les amb ;.

sed -i modifica el fitxer directament. En producció, mai sense sufix.

Amb -i.bak-$(date +%F), sed guarda l'original amb aquell sufix abans d'escriure. Sense això, si el patró estava malament —i un patró mal escrit pot buidar mig fitxer sense avisar— no hi ha marxa enrere: sed no pregunta, no avisa i no desfà. La convenció de còpia prèvia del curs i aquesta opció són el mateix, integrat en una sola ordre. Fixa't a més en les àncores ^ i $: sense elles, el patró coincidiria també dins d'un comentari.

El procediment correcte és sempre en dos passos: executar sed sense -i per veure el resultat a la pantalla, i només llavors afegir-hi -i.bak-....

awk és un llenguatge de programació complet disfressat d'ordre. El seu model és:

Per a cada línia, si el patró es compleix, executa l'acció. Sense patró, s'aplica a totes; sense acció, imprimeix la línia.

Per defecte FS és «qualsevol bloc d'espais o tabuladors», que és justament el que cut no sap fer:

Per a CSV es canvia amb -F';'. Els blocs BEGIN i END s'executen abans de la primera línia i després de l'última:

NR>1 salta la capçalera —un patró sense claus és una condició—, les variables es creen soles amb valor 0, i printf dona format: %d enter, %.2f decimal amb dues xifres.

awk -F';' '$5 >= 5 {print $1, $3, $5}' reserves.csv retorna les tres estades de cinc nits o més. I ara la característica que fa d'awk una cosa diferent: les matrius associatives, que permeten agrupar i sumar en una sola passada.

total[$3]+=$6 fa servir el nom de la casa com a índex: no cal declarar res ni saber per endavant quantes cases hi ha. El bucle for (c in total) recorre les claus —en ordre impredictible, d'aquí el sort final— i %-14s alinea a l'esquerra en 14 caràcters.

Per què awk substitueix mitja canonada: aquesta ordre fa en una passada el que exigiria cut | sort | uniq més una suma que cap de les tres no sap fer. Quan necessitis agrupar i calcular alhora, awk no és una opció entre d'altres: és l'única del conjunt que pot.

L'última fila és un consell professional, no una rendició. Una canonada de sis baules amb dos sed imbricats és més difícil de mantenir que quinze línies de Python llegible. El punt de tall raonable: si no cap en una pantalla o si l'has de dibuixar per entendre-la, canvia d'eina. I per a JSON, ni ho intentis amb sed: existeix jq.

L'encàrrec: total facturat, mitjana de nits i import per casa del període carregat a reserves.csv. Es construeix per passos, verificant.

Verificació prèvia amb awk -F';' 'NR>1 {n++} END {print n, NF}': 25 registres i 6 camps. Si alguna línia no en tingués 6, qualsevol suma posterior estaria malament; la validació de 03-02 ja ens va dir que el format és correcte.

Tres matrius associatives indexades per la mateixa clau, tres acumuladors globals i un END que formata. El programa d'awk va entre cometes simples i pot ocupar diverses línies: Bash no toca res del que hi ha a dins. Fixa't que la variable es diu tr_ i no tr: dins d'awk no hi ha conflicte amb l'ordre, però evitar noms que coincideixen amb ordres estalvia confusió en rellegir-ho.

Comprovació final imprescindible: 7+6+5+4+3 = 25 reserves i les sumes parcials donen el total. Un informe el desglossament del qual no quadra amb el total no s'entrega.

B) Rutes amb més errors. Ampliem la canonada de 03-04 a tots els codis 4xx i 5xx:

Cinc combinacions, no deu: el llistat és curt perquè el registre ho és. Sumen 23, i els 500 sumen 14, que és exactament el que vam comptar a 03-04. $5 ~ /regex/ és la comparació per patró d'awk, aplicada només al camp del codi d'estat, cosa que evita el problema que a 03-02 resolíem envoltant el patró d'espais. I hi ha una troballa lateral: els quatre 404 de /cases/el-molí porten accent, mentre que al catàleg la casa és el-moli. Algú està generant enllaços amb el nom accentuat. No és una fallada del servidor: és una fallada de l'aplicació, i cal dir-l'hi a en Luis.

C) IP amb més peticions.

-F'ip=' parteix cada línia per aquella cadena, i split($2, a, " ") talla la resta pel primer espai per quedar-se amb la IP. És una manera d'extreure un camp amb nom sense dependre de la seva posició.

La lectura de la dada és el que importa. 10.0.2.77 acumula 138 de 412 peticions —el 33 %— davant les 94 de la segona. És un atac? Encara no ho sabem, i dir que sí seria precipitat. Mirem què fa:

Un patró uniforme, gairebé tot GET /reserves amb èxit i a ritme constant: s'assembla més a un sistema automatitzat —un monitor, un rastrejador, una integració— que a una persona. L'informe per a la Marta ha de dir això i res més: hi ha una IP que concentra un terç del trànsit amb un patró automatitzat; les dades disponibles no permeten distingir un servei legítim d'un abús; cal identificar de qui és aquella adreça abans de prendre cap mesura. Distingir el que les dades demostren del que suggereixen és part de la feina.

• uniq -c sense sort al davant. Només agrupa línies adjacents; el recompte sortirà fragmentat i semblarà correcte.
• sort -k3 esperant ordenar pel camp 3. Ordena des del 3 fins al final. Escriu -k3,3.
• cut -d' ' sobre sortida alineada. Els espais repetits creen camps buits. Fes servir tr -s ' ' o awk.
• sed -i sense sufix de còpia. No hi ha desfer. Sempre -i.bak-$(date +%F), i prova abans sense -i.
• Oblidar NR>1 en un CSV amb capçalera. A awk una cadena val 0, així que no dona error: falseja el recompte en silenci.
• Posar un programa d'awk entre cometes dobles. Bash expandirà $1. Cometes simples sempre.
• Comparar números com a text. sort sense -n posa 100 abans que 20. I ordena primer, formata després: el farciment de printf desalinea els camps de sort.
• Consell: deixa un wc -l al final mentre construeixes una canonada; si el número canvia on no esperaves, l'error és allà. I recorda que awk accepta diversos fitxers: FILENAME diu quin processa i FNR és el número de línia dins d'aquell fitxer, davant de NR, que és global.

Exercici 1. Genera un llistat de les cases ordenat per import mitjà per nit (import total dividit entre nits totals), de major a menor, amb dos decimals. Explica per què no n'hi ha prou de dividir la mitjana d'imports entre la mitjana de nits.

Exercici 2. El fitxer /etc/tramontana/app.conf té max_connexions=200 i timeout_consulta=30. Puja'ls a 400 i 60 respectivament en una sola ordre, amb còpia prèvia i verificació, i explica cada element del patró que facis servir.

Exercici 3. La Marta pregunta quin percentatge de les peticions d'acces.log va acabar en error (4xx o 5xx) i en quina franja horària es concentren. Respon amb una sola canonada per a cada pregunta i redacta la conclusió en dues frases.

Solució 1.

Un primer intent amb printf "%-14s %7.2f\n", c, imp[c]/nit[c] i sort -k2 -nr surt desordenat: -k2 significa «des del camp 2 fins al final», i com que %-14s omple amb espais, el camp 2 no comença on sort es pensa. La correcció:

Posant el número primer i sense farciment, sort -rn funciona sense ambigüitat. És una tècnica que convé adoptar: ordena primer, formata després.

Sobre la pregunta: no n'hi ha prou de dividir mitjanes perquè la mitjana de quocients no és el quocient de mitjanes. Una reserva de 7 nits pesa molt més al total de nits que una de 2, i dividir promitjos les tracta totes dues igual. El càlcul correcte és el que hem fet, sumant imports i nits per separat i dividint els totals.

Solució 2.

Cada element: -E per no escapar els parèntesis; ^ i $ perquè el patró coincideixi amb la línia sencera i no amb un fragment dins d'un comentari; el grup (clau) i el seu \1 per no repetir el nom al reemplaçament, cosa que evita errades; el valor antic al patró, que actua com a comprovació —si el fitxer ja tingués un altre valor, la substitució no s'aplicaria en comptes de trepitjar-lo a cegues—; ; per encadenar dues substitucions en una sola ordre; i -i.bak-$(date +%F) per a la còpia. La primera ordre, sense -i, és la prova en sec: només quan la seva sortida és l'esperada s'executa la segona.

Solució 3.

substr($2,1,2) pren els dos primers caràcters del camp de l'hora. %% imprimeix un percentatge literal a printf.

El 5,6 % de les 412 peticions registrades va acabar en error, una proporció que per si sola no és alarmant. Ara bé, 15 dels 23 errors —gairebé dos terços— es concentren a la franja de les 03:00, cosa que apunta a un problema puntual durant la finestra nocturna i no a una degradació general del servei.

Aquesta concentració encaixa amb el que veníem veient: els db_timeout d'errors.log, el timeout_consulta=30 esgotat i les connexions_actives=200 al límit configurat. Tot assenyala la tasca nocturna que competeix per les connexions de la base de dades amb les peticions dels usuaris.

Has convertit dos fitxers de text en informes defensables, i de passada has tancat el cercle que va obrir la filosofia Unix del Mòdul 1: el text pla com a interfície universal entre programes que no es coneixen.

• cut retalla per delimitador fix, amb el seu límit davant de delimitadors repetits; tr tradueix, esborra i comprimeix caràcters.
• sort ordena per camp amb la sintaxi real -kN,N, amb -n, -h, -V, -u i -o; uniq -c compta i exigeix entrada ordenada, i el patró sort | uniq -c | sort -rn respon a qualsevol pregunta de freqüència.
• Coneixes paste, join i comm per comparar llistats, i la substitució de procés <(...) per no crear temporals.
• sed processa línia a línia; maneges adreces, l'ordre s amb els seus indicadors i delimitadors alternatius, d, p amb -n, els grups de captura, i saps que -i.bak-$(date +%F) no és opcional i que abans va sempre la prova sense -i.
• awk et dona patró { acció }, els camps $1…$NF, NR, NF, FS, BEGIN/END, printf i les matrius associatives que agrupen i sumen en una passada, substituint mitja canonada.
• Tens una taula de decisió i un criteri per saber quan toca passar a Python.
• I has produït tres informes reals: la facturació per casa amb el seu desglossament quadrat, les rutes amb més errors —descobrint de passada una fallada de l'aplicació amb l'accent d'el-molí— i la IP que concentra un terç del trànsit, amb l'honestedat de dir què demostren les dades i què només suggereixen.

Fins aquí has treballat amb fitxers. La lliçó següent canvia d'objecte: Gestió de Processos s'ocupa dels programes en execució. Veuràs què és un PID i com s'organitza l'arbre de processos des de systemd, com llegir ps aux i top columna a columna —inclòs què signifiquen de debò els tres números de la càrrega mitjana—, quins senyals existeixen i per què un professional prova SIGTERM i espera abans de recórrer a kill -9, i com esbrinar amb lsof quin procés té ocupat un port o un fitxer. El cas pràctic ja t'hi esperarà plantejat: l'aplicació de Tramontana es queda penjada de matinada, just en aquella franja de les 03:00 que acabes d'identificar, i cal diagnosticar-la i reiniciar-la sense perdre les peticions en curs.