Aktualizace README souboru

README.md

@@ -1,84 +1,262 @@
 # fedi_start
 
-Onboarding systém pro nové uživatele Mastodonu (CZ/SK komunita).
+Onboarding průvodce pro [Mamutovo.cz](https://mamutovo.cz) – pomáhá nováčkům začít na Fediverse.
 
-## Soubory
+- **Web:** https://fedi.mamutovo.cz
+- **Repo:** https://git.arch-linux.cz/Mamutovo/fedi_start
+- **Účet:** [@archlinuxcz@mamutovo.cz](https://mamutovo.cz/@archlinuxcz)
+
+---
+
+## Obsah projektu
 
 | Soubor | Popis |
 |---|---|
-| `start.html` | Úvodní onboarding stránka |
+| `index.html` | Hlavní stránka |
-| `accounts.html` | Interaktivní seznam CZ účtů s filtry |
+| `start.html` | Krok za krokem onboarding pro nováčky |
-| `accounts.json` | Data účtů (generováno skriptem) |
+| `basics.html` | Základy Mastodonu |
-| `starter-general.csv` | Starter pack pro import do Mastodonu |
+| `accounts.html` | Interaktivní seznam CZ/SK účtů s filtry |
-| `mastodon_cz_accounts.py` | Automatický sběr CZ/SK účtů |
+| `apps.html` | Doporučené aplikace (Android / iOS / Web / Desktop) |
-| `upload_surfer.sh` | Upload dat na Surfer |
+| `accounts.json` | Data účtů (generováno skriptem, nahrává se na Surfer) |
+| `accounts.csv` | Totéž v CSV (nahrává se na Surfer) |
+| `manual_accounts.csv` | Ručně přidané účty (GTS instance a výjimky) |
+| `starter-general.csv` | Starter pack – obecný – pro import do Mastodonu |
+| `starter-tech.csv` | Starter pack – tech – pro import do Mastodonu |
+| `mastodon_cz_accounts.py` | Hlavní skript – scraping CZ/SK účtů |
+| `upload_surfer.sh` | Upload `accounts.json` a `accounts.csv` na Cloudron Surfer |
+
+---
+
+## Lokální vývoj
 
-## Lokální spuštění
 ```bash
+# Spustí lokální HTTP server
 python3 -m http.server 8080
-# http://localhost:8080/accounts.html
+# Otevři v prohlížeči: http://localhost:8080/
 ```
 
-## Generování dat
+---
-```bash
+
-python3 mastodon_cz_accounts.py --output .
+## Skript `mastodon_cz_accounts.py`
+
+Sbírá CZ/SK účty z Mastodonu a GoToSocial instancí, filtruje je a ukládá do `accounts.json` a `accounts.csv`.
+
+### Jak funguje sběr dat
+
+1. Pro každou instanci v `QUERY_INSTANCES` volá `/api/v1/directory` (veřejné Mastodon API).
+2. Načte `manual_accounts.csv` a dohledá každý účet přes `/api/v1/accounts/lookup`.
+3. Sloučí obojí, odstraní duplicity, seřadí a ořízne na `TOP_N` (výchozí 250) automatických účtů + všechny manuální.
+
+### Kritéria pro zařazení (automatické účty)
+
+| Podmínka | Hodnota |
+|---|---|
+| `discoverable = true` | Uživatel chce být nalezen |
+| Aktivní za posledních | 90 dní |
+| Min. počet příspěvků | 10 |
+| Min. počet sledujících | 10 |
+
+**Manuálně přidané účty** (`manual_accounts.csv`) jsou vždy zahrnuty bez ohledu na tato kritéria.
+
+### Sledované instance
+
+CZ/SK instance jsou v konstantě `QUERY_INSTANCES` v hlavičce skriptu:
+
 ```
+mastodonczech.cz, cztwitter.cz, witter.cz, mastodon.pirati.cz,
+f.cz, lgbtcz.social, boskovice.social, mamutovo.cz,
+gts.arch-linux.cz, kompost.cz, spondr.cz, skorpil.cz,
+ajtaci.club, toot.whatever.cz
+```
+
+### Spuštění
+
+```bash
+# Základní spuštění (výstup do aktuálního adresáře)
+python3 mastodon_cz_accounts.py
+
+# Výstup do konkrétního adresáře
+python3 mastodon_cz_accounts.py --output /var/www/start/
+
+# Omezení počtu účtů
+python3 mastodon_cz_accounts.py --top 100
+
+# Ladění
+python3 mastodon_cz_accounts.py --debug
+```
+
+---
+
+## Konfigurace `.env`
+
+Vytvoř soubor `.env` v kořeni projektu (je v `.gitignore`, nikdy ho necommituj):
+
+```ini
+# Volitelný Mastodon token (pro vyšší rate limity)
+MASTODON_TOKEN=tvuj_mastodon_token
+
+# GoToSocial tokeny per-instance (viz sekce níže)
+GTS_TOKEN_GTS_ARCH_LINUX_CZ=tvuj_token_zde
+GTS_TOKEN_DALSI_INSTANCE_CZ=dalsi_token
+
+# Surfer token pro upload na web
+SURFER_TOKEN=tvuj_surfer_token
+
+# Volitelně: jiný Surfer server (výchozí je fedi.mamutovo.cz)
+# SURFER_SERVER=cloud.oscloud.cz
+```
+
+### Proměnné prostředí
+
+| Proměnná | Povinná | Popis |
+|---|---|---|
+| `MASTODON_TOKEN` | ne | Token pro Mastodon API (vyšší rate limity) |
+| `GTS_TOKEN_<DOMAIN>` | pro GTS instance | Read token per GoToSocial instance |
+| `SURFER_TOKEN` | pro upload | Token z Cloudron Surfer |
+| `SURFER_SERVER` | ne | Server Surferu, pokud není výchozí |
+
+Název proměnné pro GTS token se tvoří z domény – tečky a pomlčky se nahradí podtržítkem a vše se převede na VELKÁ PÍSMENA:
+
+```
+gts.arch-linux.cz  →  GTS_TOKEN_GTS_ARCH_LINUX_CZ
+shimon.gts.example →  GTS_TOKEN_SHIMON_GTS_EXAMPLE
+```
+
+---
+
+## GoToSocial instance – jak získat read token
+
+GoToSocial nepodporuje veřejné `/api/v1/directory`, takže každá GTS instance potřebuje vlastní read token. Postup:
+
+### 1. Přihlášení a vytvoření aplikace
+
+Přihlas se na dané GTS instanci a jdi do **Settings → Applications → New application**.
+
+Vyplň:
+- **Název aplikace:** např. `fedi_start scraper`
+- **Scopes:** zaškrtni pouze `read`
+- Ostatní pole nech prázdná nebo vyplň libovolně
+
+Uložíš aplikaci a GTS ti vygeneruje `client_id` a `client_secret`. Poznamenej si obojí.
+
+### 2. Získání authorization code
+
+Otevři v prohlížeči tuto URL (nahraď `INSTANCI.CZ` a `CLIENT_ID`):
+
+```
+https://INSTANCI.CZ/oauth/authorize?client_id=CLIENT_ID&redirect_uri=urn:ietf:wg:oauth:2.0:oob&response_type=code&scope=read
+```
+
+Přihlášený prohlížeč zobrazí stránku s kódem – zkopíruj ho (jednorázový, platí jen chvíli).
+
+### 3. Výměna code za access token
+
+```bash
+curl -X POST "https://INSTANCI.CZ/oauth/token" \
+  -d "client_id=CLIENT_ID" \
+  -d "client_secret=CLIENT_SECRET" \
+  -d "redirect_uri=urn:ietf:wg:oauth:2.0:oob" \
+  -d "grant_type=authorization_code" \
+  -d "code=AUTHORIZATION_CODE" \
+  -d "scope=read"
+```
+
+V odpovědi dostaneš JSON s `access_token`.
+
+### 4. Přidání tokenu do `.env`
+
+```ini
+GTS_TOKEN_GTS_ARCH_LINUX_CZ=ziskany_access_token
+```
+
+### 5. Ověření
+
+```bash
+curl -H "Authorization: Bearer TVUJ_TOKEN" "https://INSTANCI.CZ/api/v1/accounts/verify_credentials"
+```
+
+Pokud vrátí JSON s tvým účtem, token funguje.
+
+---
+
+## Přidání nového účtu
+
+### Mastodon instance
+
+Uživatel se zobrazí automaticky, pokud má v nastavení zapnuté:
+
+> **Settings → Privacy → Appearance in search engines** (nebo česky „Zobrazovat profil ve vyhledávacích algoritmech")
+
+A splňuje kritéria výše (aktivita, min. počet příspěvků atd.).
+
+Pokud chceš účet přidat ručně bez ohledu na kritéria, přidej ho do `manual_accounts.csv`:
+
+```csv
+handle@instance.cz,true,false,
+```
+
+### GoToSocial instance
+
+GTS nemá veřejný adresář, proto:
+
+1. Získej read token (viz postup výše).
+2. Přidej `GTS_TOKEN_<DOMAIN>=token` do `.env`.
+3. Přidej konkrétní účty do `manual_accounts.csv` (GTS adresář je přístupný s tokenem, ale pro jistotu je lepší přidat je ručně).
+4. Přidej instanci do `QUERY_INSTANCES` v `mastodon_cz_accounts.py`.
+
+---
 
 ## Nasazení na VPS
 
+Projekt běží na VPS Hetzner v `/opt/fedi_start/`.
+
 ### Závislosti
+
 ```bash
-pip3 install requests python-dateutil
+# Python (stdlib only, žádné externí balíčky)
+python3 --version  # 3.10+
+
+# Node.js – Cloudron Surfer CLI
 npm install -g cloudron-surfer
 ```
 
-### Nastavení .env
+### Nastavení na serveru
-Vytvoř soubor `.env` v kořeni projektu:
+
-```
+```bash
-MASTODON_TOKEN=tvuj_mastodon_token
+git clone https://git.arch-linux.cz/Mamutovo/fedi_start /opt/fedi_start
-GTS_TOKEN=tvuj_gts_token
+cd /opt/fedi_start
-SURFER_TOKEN=tvuj_surfer_token
+cp .env.example .env  # nebo vytvoř .env ručně
+# Vyplň tokeny v .env
 ```
 
-- **MASTODON_TOKEN** — přístupový token z nastavení Mastodon účtu (Settings → Development → New application)
+### Cron
-- **GTS_TOKEN** — token pro GoToSocial instanci
-- **SURFER_TOKEN** — token z Cloudron Surfer (viz sekce Upload na Surfer)
 
-## Cron
+Automatická aktualizace 4× denně:
 
-Automatické generování dat každý den ve 3:00:
 ```
-0 3 * * * cd /opt/fedi_start && python3 mastodon_cz_accounts.py --output . && bash upload_surfer.sh
+0 6,12,18,0 * * * cd /opt/fedi_start && python3 mastodon_cz_accounts.py --output . && bash upload_surfer.sh >> /var/log/fedi_start.log 2>&1
 ```
 
+---
+
 ## Upload na Surfer
 
-### Instalace
+[Cloudron Surfer](https://cloudron.io/store/io.cloudron.surfer.html) je jednoduchý statický file hosting.
-```bash
-npm install -g cloudron-surfer
-```
 
-### Konfigurace
+### Ruční spuštění uploadu
-```bash
-surfer config --server fedi.mamutovo.cz --token TOKEN
-```
 
-### Spuštění uploadu
 ```bash
 bash upload_surfer.sh
 ```
 
-### CLI — manuální upload
+Skript načte `SURFER_TOKEN` z `.env` a nahraje `accounts.json` + `accounts.csv` do kořene Surfer serveru.
+
+### Manuální Surfer příkazy
+
 ```bash
-# Nahrát konkrétní soubor do kořene
+# Nahrát konkrétní soubory
-surfer put -t $SURFER_TOKEN accounts.json /
-
-# Nahrát více souborů najednou
 surfer put -t $SURFER_TOKEN accounts.json accounts.csv /
 
-# Nahrát celý adresář
-surfer put -t $SURFER_TOKEN dist/ /
-
 # Zobrazit obsah na serveru
 surfer get
 
@@ -86,6 +264,30 @@ surfer get
 surfer del /accounts.json
 ```
 
-## Web
+---
 
-Stránka je dostupná na: https://fedi.mamutovo.cz
+## Struktura dat `accounts.json`
+
+Každý záznam v poli `accounts` obsahuje:
+
+```json
+{
+  "handle":         "uzivatel@instance.cz",
+  "display_name":   "Zobrazované jméno",
+  "note":           "Bio uživatele",
+  "followers":      123,
+  "following":      45,
+  "statuses":       678,
+  "last_active":    "2024-03-15",
+  "avatar":         "https://...",
+  "url":            "https://instance.cz/@uzivatel",
+  "fields":         [...],
+  "tags":           ["linux", "opensource"]
+}
+```
+
+---
+
+## Přispívání
+
+Pull requesty vítány. Repo: https://git.arch-linux.cz/Mamutovo/fedi_start

manual_accounts.csv

@@ -111,3 +111,4 @@ Oskar456@mastodon.social,true,false,
 jmlich@fosstodon.org,true,false,
 ronny@metalhead.club,true,false,
 vancura@mastodon.design,true,false,
+shimon@gts.shimonh.eu,true,false,

mastodon_cz_accounts.py

@@ -37,6 +37,17 @@ def _load_tokens():
                     break
         if val:
             tokens[key] = val.strip()
+    # per-instance GTS tokeny: GTS_TOKEN_<DOMAIN>
+    for key, val in os.environ.items():
+        if key.startswith("GTS_TOKEN_") and val:
+            tokens[key] = val.strip()
+    for line in env_lines:
+        line = line.strip()
+        if line.startswith("GTS_TOKEN_") and "=" in line:
+            key, val = line.split("=", 1)
+            key = key.strip()
+            if key not in tokens and val.strip():
+                tokens[key] = val.strip()
     # fallback: raw token value (legacy .env bez klíče)
     if "MASTODON_TOKEN" not in tokens:
         for line in env_lines:
@@ -47,8 +58,9 @@ def _load_tokens():
     return tokens
 
 _TOKENS = _load_tokens()
-MASTODON_TOKEN = _TOKENS.get("MASTODON_TOKEN")
+MASTODON_TOKEN       = _TOKENS.get("MASTODON_TOKEN")
-GTS_TOKEN      = _TOKENS.get("GTS_TOKEN")
+GTS_TOKEN            = _TOKENS.get("GTS_TOKEN")  # legacy fallback
+_GTS_INSTANCE_TOKENS = {k: v for k, v in _TOKENS.items() if k.startswith("GTS_TOKEN_")}
 
 _gts_cache: dict[str, bool] = {}
 
@@ -62,8 +74,11 @@ def _is_gts(instance: str) -> bool:
     return result
 
 def _token_for(instance: str) -> str | None:
-    if GTS_TOKEN and _is_gts(instance):
+    if _is_gts(instance):
-        return GTS_TOKEN
+        key = "GTS_TOKEN_" + re.sub(r"[.\-]", "_", instance).upper()
+        token = _GTS_INSTANCE_TOKENS.get(key) or GTS_TOKEN
+        if token:
+            return token
     return MASTODON_TOKEN
 
 logging.basicConfig(level=logging.INFO, format="%(asctime)s %(levelname)s %(message)s", datefmt="%H:%M:%S")
@@ -177,11 +192,6 @@ def load_manual_accounts(seen_handles=None):
             url = f"https://{instance}/api/v1/accounts/lookup?acct={urllib.parse.quote(handle_part)}"
             token = _token_for(instance)
             acc = api_get(url, token=token)
-            if not acc or not isinstance(acc, dict):
-                log.debug(f"  {instance}: is_gts={_is_gts(instance)}, gts_token={GTS_TOKEN is not None}")
-                if GTS_TOKEN and _is_gts(instance):
-                    log.debug(f"  {handle}: zkouším GTS_TOKEN")
-                    acc = api_get(url, token=GTS_TOKEN)
             if not acc or not isinstance(acc, dict):
                 log.warning(f"  {handle}: lookup selhal")
                 continue