Perguntas paralelas

Executa um briefing regulatório de 13 perguntas sobre o artigo da Wikipedia do GDPR, mostrando que agrupar todas as perguntas em uma única chamada TypeSafe é 12.2x mais barato e 10.0x mais rápido, sem alteração nas respostas.

Você tem um documento e N perguntas sobre ele. Você pode enviar uma solicitação com todas as N perguntas, ou N solicitações com uma pergunta cada. Com TypeSafe as respostas saem iguais de qualquer maneira: cada pergunta é pontuada individualmente contra o documento, então sua resposta não depende do que mais está na solicitação.

Para verificar isso, o livro de receitas faz cada pergunta várias vezes nos dois sentidos — todos os N em um único pedido, e uma pergunta por pedido — e compara o desvio padrão entre execuções: o quanto uma resposta se desloca de uma repetição para a próxima. Qualquer ruído que uma pergunta tenha, ele está presente sob ambas as estratégias de agrupamento. O agrupamento não adiciona nenhum. A maioria das respostas voltou idêntica em todas as 5 repetições, em ambos os casos, com o mesmo valor em cada chamada, desvio padrão exatamente 0.0.

Custo e velocidade mudam. O documento domina cada solicitação. N chamadas de pergunta única pagam por ele N vezes, em N viagens de ida e volta; a chamada em lote paga uma vez. Quanto maior o documento, mais perto essa economia chega de um N×.

O caso aqui é um briefing regulatório. O documento é o artigo da Wikipedia sobre o GDPR (~54,000 caracteres, uma carga de trabalho dominada por documentos onde o documento é a maior parte de cada solicitação), e uma equipe de conformidade quer verificar 13 coisas: 8 Noul perguntas, 2 Choice perguntas, e 3 Score perguntas.

Configuração

pip install ipython "typesafe-sdk>=0.5.7" cooksafe --extra-index-url https://pypi.typesafe.ai/

então defina TYPESAFE_API_KEY.

import json
import os
import urllib.request
from pathlib import Path
from statistics import mean, stdev
from time import perf_counter

from cooksafe import JsonCache, make_playground_link
from IPython.display import Markdown, display
from typesafe_sdk import Choice, ChoiceAnswer, Noul, NoulAnswer, Score, TypeSafeClient

TYPESAFE_MODEL = "jev-1.12"
PRICE = (
    0.042,
    0.00,
)  # $ per 1M tokens (input, output); TypeSafe jev-1.12 as of 2026-09, see README
RUNS = 5  # repeats per batching strategy, to estimate each answer's run-to-run std dev
client = TypeSafeClient(api_key=os.environ["TYPESAFE_API_KEY"], timeout=120.0)
json_cache = JsonCache(Path("json_cache.json"))

Obtido como texto puro a partir de uma revisão fixada do artigo e armazenado em cache em json_cache.json ao lado das chamadas de API, para que o documento e seus números permaneçam fixos mesmo quando o artigo ao vivo for editado.

WIKIPEDIA_REVISION = 1363040264  # "General Data Protection Regulation", as of 2026-07


@json_cache
def fetch_article(revision_id: int) -> str:
    url = (
        "https://en.wikipedia.org/w/api.php?action=query&format=json"
        f"&prop=extracts&explaintext=1&revids={revision_id}"
    )
    request = urllib.request.Request(
        url, headers={"User-Agent": "typesafe-cookbook/1.0"}
    )
    with urllib.request.urlopen(request) as response:
        pages = json.loads(response.read())["query"]["pages"]
    return next(iter(pages.values()))["extract"]


DOCUMENT = {
    "source": f"https://en.wikipedia.org/?oldid={WIKIPEDIA_REVISION}",
    "text": fetch_article(WIKIPEDIA_REVISION),
}
print(f"{len(DOCUMENT['text']):,} characters")
display(Markdown(f"📄 [Read the pinned Wikipedia revision]({DOCUMENT['source']})"))

53,777 characters

📄 Leia a revisão fixada da Wikipedia

As perguntas: 8 nouls + 2 escolhas + 3 pontuações

Um número rastreado por resposta, por tipo:

Noul: a probabilidade de “sim”.
Choice: a probabilidade máxima, a probabilidade do rótulo escolhido. criteria mapeia cada rótulo ao seu significado.
Score: a pontuação normalizada para 0-1, a pontuação dividida pelo nível superior. criteria lista as descrições dos níveis, do nível 0 para cima.

QUESTIONS = {
    "breach_72h": Noul(
        instructions="Must a personal data breach be reported to the supervisory authority within 72 hours?"
    ),
    "applies_non_eu": Noul(
        instructions="Does the regulation apply to organisations established outside the EU that offer goods or services to people in the EU?"
    ),
    "dpo_all_orgs": Noul(
        instructions="Must every organisation appoint a Data Protection Officer, regardless of what data it processes?"
    ),
    "pre_ticked_consent": Noul(
        instructions="Can valid consent be obtained through pre-ticked boxes or inactivity?"
    ),
    "right_erasure": Noul(
        instructions="Does the regulation grant individuals a right to erasure of their personal data?"
    ),
    "data_portability": Noul(
        instructions="Does the regulation include a right to data portability?"
    ),
    "us_federal_law": Noul(instructions="Is the GDPR a United States federal law?"),
    "criminal_penalties": Noul(
        instructions="Does the GDPR itself impose criminal penalties such as imprisonment?"
    ),
    "instrument_type": Choice(
        instructions="What kind of EU legal instrument is the GDPR?",
        criteria={
            "Regulation": "Directly binding law in all member states, no national implementation needed.",
            "Directive": "Sets goals that member states implement through national law.",
            "Treaty": "An international treaty between states.",
            "Recommendation": "Non-binding guidance.",
        },
    ),
    "max_fine": Choice(
        instructions="What is the maximum administrative fine for the most serious infringements?",
        criteria={
            "TwentyM_or_4pct": "Up to EUR 20 million or 4% of annual worldwide turnover, whichever is greater.",
            "TenM_or_2pct": "Up to EUR 10 million or 2% of annual worldwide turnover, whichever is greater.",
            "FixedCap": "A fixed amount not tied to turnover.",
            "NoFines": "The GDPR provides no administrative fines.",
        },
    ),
    "individual_rights": Score(
        instructions="How strong are the rights the GDPR grants to individuals over their data?",
        criteria=[
            "None: individuals get no rights over their data.",
            "Weak: a right to be informed, but little control.",
            "Moderate: access and correction rights, but limited means to act on them.",
            "Strong: access, erasure, portability, and objection rights, with enforcement behind them.",
        ],
    ),
    "penalty_severity": Score(
        instructions="How severe are the penalties the GDPR provides for non-compliance?",
        criteria=[
            "None: no penalties of any kind.",
            "Symbolic: small fixed fines unlikely to change behavior.",
            "Substantial: fines large enough to matter to most companies.",
            "Severe: fines scaled to global revenue, material even to the largest companies.",
        ],
    ),
    "compliance_burden": Score(
        instructions="How heavy is the compliance burden the GDPR places on organisations?",
        criteria=[
            "Negligible: no meaningful obligations.",
            "Light: a few notices and disclosures.",
            "Moderate: documented processes and some dedicated roles for larger processors.",
            "Heavy: records, impact assessments, officers, and breach procedures for many organisations.",
            "Extreme: obligations so demanding that ordinary organisations cannot fully comply.",
        ],
    ),
}
N = len(QUESTIONS)
METRIC = {  # question type -> the one number we track per answer
    Noul: "p(yes)",
    Choice: "max prob",
    Score: "normalized score",
}

Pergunte de duas maneiras, 5 vezes cada

ask() envia qualquer subconjunto das perguntas com o documento e reduz cada resposta ao seu número rastreado único. O documento é byte-identico em cada chamada.

Ambas as estratégias de agrupamento executam RUNS = 5 vezes, fornecendo 5 respostas por pergunta para cada estratégia, suficiente para comparar a média (os dois concordam?) e o desvio padrão (o agrupamento adiciona ruído?). As chamadas são armazenadas em cache em json_cache.json, que acompanha o cookbook, portanto, o novo processamento é gratuito; exclua-o para executar novamente ao vivo.

@json_cache
def ask(keys: tuple[str, ...], run: int):
    """One TypeSafe call -> ({key: tracked metric}, input_tokens, output_tokens, latency_s);
    ``run`` only forces a distinct live call per repeat."""
    started = perf_counter()
    response = client.system_one(
        state={"article": DOCUMENT},
        questions={key: QUESTIONS[key] for key in keys},
        model=TYPESAFE_MODEL,
    )
    values = {}
    for key in keys:
        answer = response.answers[key]
        if isinstance(answer, NoulAnswer):
            values[key] = answer.noul
        elif isinstance(answer, ChoiceAnswer):
            values[key] = max(answer.probabilities.values())
        else:
            values[key] = answer.score / (len(QUESTIONS[key].criteria) - 1)
    return (
        values,
        response.usage.input_tokens,
        response.usage.output_tokens,
        perf_counter() - started,
    )


def priced(result):
    """({key: metric}, in_tokens, out_tokens, latency) -> ({key: metric}, cost_usd, latency)."""
    values, input_tokens, output_tokens, latency = result
    return values, input_tokens / 1e6 * PRICE[0] + output_tokens / 1e6 * PRICE[1], latency


# Price after cache retrieval, so a price change needs no new calls.
batched = [
    priced(ask(tuple(QUESTIONS), run)) for run in range(RUNS)
]  # all N in one call, x RUNS
singles = [
    {key: priced(ask((key,), run)) for key in QUESTIONS} for run in range(RUNS)
]  # N x 1, x RUNS

O agrupamento não altera as respostas

Por pergunta: a média e o desvio padrão do seu número rastreado ao longo das 5 execuções, sob cada estratégia de agrupamento. Se o agrupamento alterou as respostas, as colunas agrupadas difeririam das colunas individuais. Uma média deslocada é viés. Um desvio padrão maior é ruído.

print(
    f"{'question':<22}{'metric':<18}{'batched mean':>13}{'single mean':>12}"
    f"{'batched std':>13}{'single std':>12}"
)
for key, question in QUESTIONS.items():
    batched_values = [values[key] for values, _cost, _latency in batched]
    single_values = [singles[run][key][0][key] for run in range(RUNS)]
    print(
        f"{key:<22}{METRIC[type(question)]:<18}{mean(batched_values):>13.3f}"
        f"{mean(single_values):>12.3f}{stdev(batched_values):>13.4f}{stdev(single_values):>12.4f}"
    )

question              metric             batched mean single mean  batched std  single std
breach_72h            p(yes)                    0.804       0.814       0.0055      0.0055
applies_non_eu        p(yes)                    0.990       0.990       0.0000      0.0000
dpo_all_orgs          p(yes)                    0.030       0.030       0.0000      0.0000
pre_ticked_consent    p(yes)                    0.040       0.040       0.0000      0.0000
right_erasure         p(yes)                    0.990       0.990       0.0000      0.0000
data_portability      p(yes)                    0.990       0.990       0.0000      0.0000
us_federal_law        p(yes)                    0.010       0.010       0.0000      0.0000
criminal_penalties    p(yes)                    0.108       0.108       0.0045      0.0084
instrument_type       max prob                  1.000       1.000       0.0000      0.0000
max_fine              max prob                  1.000       1.000       0.0000      0.0000
individual_rights     normalized score          1.000       1.000       0.0000      0.0000
penalty_severity      normalized score          1.000       1.000       0.0000      0.0000
compliance_burden     normalized score          0.750       0.750       0.0000      0.0000

Lendo a tabela por tipo de pergunta:

Escolhas, pontuações e seis dos oito nouls retornam idênticos nas 5 repetições: desvio padrão exatamente 0,0 sob ambas as estratégias de agrupamento, cada chamada agrupada e única retornando o mesmo número. Uma chamada com N perguntas dá as mesmas respostas que N chamadas com uma pergunta cada.
breach_72h e criminal_penalties apresentam um pequeno ruído de amostragem entre execuções, e ele é do mesmo tamanho sob ambas as estratégias de agrupamento, com as médias concordando dentro desse ruído. O ruído é uma propriedade da pergunta, não de como você agrupa: agrupar nem desloca a resposta nem adiciona variância.

De qualquer forma, não há efeito de lote: a resposta de nenhuma pergunta depende das 12 outras perguntas que compartilham sua solicitação.

A única diferença: custo e velocidade

Mesmas respostas, conta diferente. O artigo de ~54.000 caracteres domina todos os pedidos, então:

Custo: as 13 chamadas de pergunta única reenviam o artigo 13 vezes; a chamada em lote o envia uma vez. Essa economia se mantém independentemente de como você executa as chamadas.
Velocidade: a figura soma as latências das 13 chamadas individuais, portanto, assume que elas são executadas uma após a outra. Execute-as em concorrência e a diferença diminui, mas o custo de tokens 13x permanece.

Os contadores de tokens e as latências são armazenados em cache junto com as respostas; o custo é aplicado posteriormente, e ambos são calculados como média nas 5 execuções.

batched_cost = mean(cost for _values, cost, _latency in batched)
batched_latency = mean(latency for _values, _cost, latency in batched)
singles_cost = mean(
    sum(singles[run][key][1] for key in QUESTIONS) for run in range(RUNS)
)
singles_latency = mean(
    sum(singles[run][key][2] for key in QUESTIONS) for run in range(RUNS)
)
print(f"{'batching':<24}{'calls':>6}{'cost':>12}{'total time':>12}")
print(
    f"{f'one call, all {N}':<24}{1:>6}{'$' + format(batched_cost, '.6f'):>12}{format(batched_latency, '.2f') + 's':>12}"
)
print(
    f"{f'{N} calls, one each':<24}{N:>6}{'$' + format(singles_cost, '.6f'):>12}{format(singles_latency, '.2f') + 's':>12}"
)
print(
    f"\nbatching: {singles_cost / batched_cost:.1f}x cheaper, {singles_latency / batched_latency:.1f}x faster"
)

batching                 calls        cost  total time
one call, all 13             1   $0.000497       0.27s
13 calls, one each          13   $0.006090       2.71s

batching: 12.2x cheaper, 10.0x faster

Abra no playground TypeSafe

O mesmo artigo e as mesmas 13 perguntas, compactadas em um link compartilhável. Abra-o para executar novamente o briefing ao vivo; os mesmos números retornam.

playground_link = make_playground_link(
    {"article": DOCUMENT}, QUESTIONS, models=[TYPESAFE_MODEL]
)
display(
    Markdown(
        f"🔗 [Open this article + questions in the TypeSafe playground]({playground_link})"
    )
)

Abra este artigo + perguntas no playground TypeSafe →