---
title: Модерация контента
url: https://platform.claude.com/docs/ru/about-claude/use-case-guides/content-moderation
description: Модерация контента — это критически важный аспект поддержания безопасной, уважительной и продуктивной среды в цифровых приложениях. В этом руководстве рассматривается, как Claude можно использовать для модерации контента в вашем цифровом приложении.
---
> Посетите [cookbook по модерации контента](https://platform.claude.com/cookbook/misc-building-moderation-filter), чтобы увидеть пример реализации модерации контента с использованием Claude.
Это руководство посвящено модерации пользовательского контента в вашем приложении. Если вы ищете рекомендации по модерации взаимодействий с Claude, обратитесь к разделу
[Противодействие джейлбрейкам и инъекциям подсказок](https://platform.claude.com/docs/ru/test-and-evaluate/strengthen-guardrails/mitigate-jailbreaks)
.
## Перед началом разработки с Claude
### Решите, стоит ли использовать Claude для модерации контента
Вот несколько ключевых признаков того, что для «content moderation» (модерации контента) вам следует использовать «large language model» (большую языковую модель), или LLM, такую как Claude, вместо традиционного подхода на основе машинного обучения (ML) или правил:
Традиционные методы ML требуют значительных инженерных ресурсов, экспертизы в области ML и затрат на инфраструктуру. Системы модерации с участием людей обходятся ещё дороже. С Claude вы можете запустить сложную систему модерации за значительно меньшее время и при гораздо меньших затратах.
Традиционные подходы ML, такие как модели «мешка слов» или простое сопоставление с шаблонами, часто с трудом понимают тон, намерение и контекст контента. Хотя системы модерации с участием людей превосходно понимают семантический смысл, им требуется время на проверку контента. Claude удовлетворяет обе потребности, сочетая семантическое понимание со способностью быстро выносить решения по модерации.
Используя свои продвинутые способности к рассуждению, Claude может единообразно интерпретировать и применять сложные правила модерации. Такая последовательность помогает обеспечить справедливое отношение ко всему контенту, снижая риск непоследовательных или предвзятых решений по модерации, которые могут подорвать доверие пользователей.
После того как традиционный подход ML внедрён, его изменение становится трудоёмкой задачей, требующей большого объёма данных. С другой стороны, по мере развития вашего продукта или потребностей клиентов Claude может легко адаптироваться к изменениям или дополнениям политик модерации без масштабной переразметки обучающих данных.
Если вы хотите предоставлять пользователям или регуляторам понятные объяснения решений по модерации, Claude может генерировать подробные и связные обоснования. Такая прозрачность важна для формирования доверия и обеспечения подотчётности в практике модерации контента.
Традиционные подходы ML обычно требуют отдельных моделей или масштабных процессов перевода для каждого поддерживаемого языка. Модерация с участием людей требует найма сотрудников, свободно владеющих каждым поддерживаемым языком. Многоязычные возможности Claude позволяют классифицировать обращения на различных языках без необходимости в отдельных моделях или масштабных процессах перевода, упрощая модерацию для глобальной клиентской базы.
Мультимодальные возможности Claude позволяют анализировать и интерпретировать контент как в виде текста, так и в виде изображений. Это делает его универсальным инструментом для комплексной модерации контента в средах, где различные типы медиа необходимо оценивать совместно.
Все модели Claude обучены со встроенными механизмами безопасного поведения. Это может привести к тому, что Claude будет модерировать контент, считающийся особенно опасным (в соответствии с
[Политикой допустимого использования](https://www.anthropic.com/legal/aup)
), независимо от используемой подсказки. Например, сайт для взрослых, который хочет разрешить пользователям публиковать откровенный сексуальный контент, может обнаружить, что Claude по-прежнему помечает откровенный контент как требующий модерации, даже если в подсказке указано не модерировать откровенный сексуальный контент. Рекомендуем ознакомиться с Политикой допустимого использования (AUP) до начала разработки решения для модерации.
### Сгенерируйте примеры контента для модерации
Перед разработкой решения для модерации контента сначала создайте примеры контента, который должен быть помечен, и контента, который не должен быть помечен. Обязательно включите пограничные случаи и сложные сценарии, с которыми системе модерации контента может быть трудно эффективно справиться. После этого просмотрите свои примеры, чтобы составить чётко определённый список категорий модерации. Например, примеры, сгенерированные платформой социальных сетей, могут включать следующее:
```python Python
client = anthropic.Anthropic()
allowed_user_comments = [
"This movie was great, I really enjoyed it. The main actor really killed it!",
"I hate Mondays.",
"It is a great time to invest in gold!",
]
disallowed_user_comments = [
"Delete this post now or you better hide. I am coming after you and your family.",
"Stay away from the 5G cellphones!! They are using 5G to control you.",
"Congratulations! You have won a $1,000 gift card. Click here to claim your prize!",
]
# Примеры комментариев пользователей для проверки модерации контента
user_comments = allowed_user_comments + disallowed_user_comments
# Категории, считающиеся небезопасными для модерации контента
unsafe_categories = [
"Child Exploitation",
"Conspiracy Theories",
"Hate",
"Indiscriminate Weapons",
"Intellectual Property",
"Non-Violent Crimes",
"Privacy",
"Self-Harm",
"Sex Crimes",
"Sexual Content",
"Specialized Advice",
"Violent Crimes",
]
```
```typescript TypeScript
const client = new Anthropic();
const allowedUserComments = [
"This movie was great, I really enjoyed it. The main actor really killed it!",
"I hate Mondays.",
"It is a great time to invest in gold!"
];
const disallowedUserComments = [
"Delete this post now or you better hide. I am coming after you and your family.",
"Stay away from the 5G cellphones!! They are using 5G to control you.",
"Congratulations! You have won a $1,000 gift card. Click here to claim your prize!"
];
// Примеры пользовательских комментариев для проверки модерации контента
const userComments = [...allowedUserComments, ...disallowedUserComments];
// Категории, считающиеся небезопасными при модерации контента
const unsafeCategories = [
"Child Exploitation",
"Conspiracy Theories",
"Hate",
"Indiscriminate Weapons",
"Intellectual Property",
"Non-Violent Crimes",
"Privacy",
"Self-Harm",
"Sex Crimes",
"Sexual Content",
"Specialized Advice",
"Violent Crimes"
];
```
```csharp C#
var client = new AnthropicClient();
string[] allowedUserComments =
[
"This movie was great, I really enjoyed it. The main actor really killed it!",
"I hate Mondays.",
"It is a great time to invest in gold!",
];
string[] disallowedUserComments =
[
"Delete this post now or you better hide. I am coming after you and your family.",
"Stay away from the 5G cellphones!! They are using 5G to control you.",
"Congratulations! You have won a $1,000 gift card. Click here to claim your prize!",
];
// Примеры пользовательских комментариев для тестирования модерации контента
string[] userComments = [.. allowedUserComments, .. disallowedUserComments];
// Категории, считающиеся небезопасными для модерации контента
string[] unsafeCategories =
[
"Child Exploitation",
"Conspiracy Theories",
"Hate",
"Indiscriminate Weapons",
"Intellectual Property",
"Non-Violent Crimes",
"Privacy",
"Self-Harm",
"Sex Crimes",
"Sexual Content",
"Specialized Advice",
"Violent Crimes",
];
```
```go Go
var client = anthropic.NewClient()
var allowedUserComments = []string{
"This movie was great, I really enjoyed it. The main actor really killed it!",
"I hate Mondays.",
"It is a great time to invest in gold!",
}
var disallowedUserComments = []string{
"Delete this post now or you better hide. I am coming after you and your family.",
"Stay away from the 5G cellphones!! They are using 5G to control you.",
"Congratulations! You have won a $1,000 gift card. Click here to claim your prize!",
}
// Примеры пользовательских комментариев для проверки модерации контента
var userComments = slices.Concat(allowedUserComments, disallowedUserComments)
// Категории, считающиеся небезопасными для модерации контента
var unsafeCategories = []string{
"Child Exploitation",
"Conspiracy Theories",
"Hate",
"Indiscriminate Weapons",
"Intellectual Property",
"Non-Violent Crimes",
"Privacy",
"Self-Harm",
"Sex Crimes",
"Sexual Content",
"Specialized Advice",
"Violent Crimes",
}
```
```java Java
final AnthropicClient client = AnthropicOkHttpClient.fromEnv();
final List allowedUserComments = List.of(
"This movie was great, I really enjoyed it. The main actor really killed it!",
"I hate Mondays.",
"It is a great time to invest in gold!");
final List disallowedUserComments = List.of(
"Delete this post now or you better hide. I am coming after you and your family.",
"Stay away from the 5G cellphones!! They are using 5G to control you.",
"Congratulations! You have won a $1,000 gift card. Click here to claim your prize!");
// Примеры пользовательских комментариев для тестирования модерации контента
final List userComments =
Stream.concat(allowedUserComments.stream(), disallowedUserComments.stream()).toList();
// Категории, считающиеся небезопасными для модерации контента
final List unsafeCategories = List.of(
"Child Exploitation",
"Conspiracy Theories",
"Hate",
"Indiscriminate Weapons",
"Intellectual Property",
"Non-Violent Crimes",
"Privacy",
"Self-Harm",
"Sex Crimes",
"Sexual Content",
"Specialized Advice",
"Violent Crimes");
```
```php PHP
$client = new Client();
$allowedUserComments = [
'This movie was great, I really enjoyed it. The main actor really killed it!',
'I hate Mondays.',
'It is a great time to invest in gold!',
];
$disallowedUserComments = [
'Delete this post now or you better hide. I am coming after you and your family.',
'Stay away from the 5G cellphones!! They are using 5G to control you.',
'Congratulations! You have won a $1,000 gift card. Click here to claim your prize!',
];
// Примеры пользовательских комментариев для тестирования модерации контента
$userComments = [...$allowedUserComments, ...$disallowedUserComments];
// Категории, считающиеся небезопасными для модерации контента
$unsafeCategories = [
'Child Exploitation',
'Conspiracy Theories',
'Hate',
'Indiscriminate Weapons',
'Intellectual Property',
'Non-Violent Crimes',
'Privacy',
'Self-Harm',
'Sex Crimes',
'Sexual Content',
'Specialized Advice',
'Violent Crimes',
];
```
```ruby Ruby
CLIENT = Anthropic::Client.new
ALLOWED_USER_COMMENTS = [
"This movie was great, I really enjoyed it. The main actor really killed it!",
"I hate Mondays.",
"It is a great time to invest in gold!"
]
DISALLOWED_USER_COMMENTS = [
"Delete this post now or you better hide. I am coming after you and your family.",
"Stay away from the 5G cellphones!! They are using 5G to control you.",
"Congratulations! You have won a $1,000 gift card. Click here to claim your prize!"
]
# Примеры комментариев пользователей для тестирования модерации контента
USER_COMMENTS = ALLOWED_USER_COMMENTS + DISALLOWED_USER_COMMENTS
# Категории, считающиеся небезопасными для модерации контента
UNSAFE_CATEGORIES = [
"Child Exploitation",
"Conspiracy Theories",
"Hate",
"Indiscriminate Weapons",
"Intellectual Property",
"Non-Violent Crimes",
"Privacy",
"Self-Harm",
"Sex Crimes",
"Sexual Content",
"Specialized Advice",
"Violent Crimes"
]
```
Эффективная модерация этих примеров требует тонкого понимания языка. В комментарии `This movie was great, I really enjoyed it. The main actor really killed it!` система модерации контента должна распознать, что «killed it» — это метафора, а не указание на реальное насилие. И наоборот, несмотря на отсутствие явных упоминаний насилия, комментарий `Delete this post now or you better hide. I am coming after you and your family.` должен быть помечен системой модерации контента.
Небезопасные категории можно настроить в соответствии с вашими конкретными потребностями. Например, если вы хотите запретить несовершеннолетним создавать контент на вашем сайте, вы можете добавить в список категорий «Underage Posting» (публикации несовершеннолетних).
***
## Как модерировать контент с помощью Claude
### Выберите подходящую модель Claude
При выборе модели важно учитывать объём ваших данных. Если важны затраты, меньшая модель, такая как Claude Haiku 5.5, — отличный выбор благодаря своей экономичности. Ниже приведена оценка стоимости модерации текста для платформы социальных сетей, получающей один миллиард публикаций в месяц:
* **Объём контента**
* Публикаций в месяц: 1 млрд
* Символов в публикации: 100
* Всего символов: 100 млрд
* **Оценочное количество токенов**
* Входные токены: 28,6 млрд (при условии 1 токен на 3,5 символа)
* Процент помеченных сообщений: 3%
* Выходных токенов на помеченное сообщение: 50
* Всего выходных токенов: 1,5 млрд
* **Оценка стоимости Claude Haiku 5.5**
* Стоимость входных токенов: 28 600 MTok \* $0,10/MTok = $2 860 USD
* Стоимость выходных токенов: 1 500 MTok \* $0,50/MTok = $750 USD
* Ежемесячная стоимость: $2 860 + $750 = $3 610 USD
* **Оценочная стоимость Claude Opus 5**
* Стоимость входных токенов: 28 600 MTok \* $5,00/MTok = $143 000 USD
* Стоимость выходных токенов: 1 500 MTok \* $25,00/MTok = $37 500 USD
* Ежемесячная стоимость: $143 000 + $37 500 = $180 500 USD
* **Оценочная стоимость Claude Opus 4.8**
* Стоимость входных токенов: 28 600 MTok \* $5,00/MTok = $143 000 USD
* Стоимость выходных токенов: 1 500 MTok \* $25,00/MTok = $37 500 USD
* Ежемесячная стоимость: $143 000 + $37 500 = $180 500 USD
Фактические затраты могут отличаться от этих оценок. Эти оценки основаны на подсказке, приведённой в разделе о
[пакетной обработке](https://platform.claude.com/docs/ru/about-claude/use-case-guides/content-moderation#consider-batch-processing)
. Количество выходных токенов можно сократить ещё больше, удалив поле
`explanation`
из ответа.
### Составьте сильную подсказку
Чтобы использовать Claude для модерации контента, Claude должен понимать требования к модерации в вашем приложении. Начните с написания «prompt» (подсказки), которая позволит вам определить ваши потребности в модерации:
```python Python
def moderate_message(message, unsafe_categories):
# Преобразуем небезопасные категории в строку, каждая категория с новой строки
unsafe_category_str = "\n".join(unsafe_categories)
# Формируем подсказку для Claude, включая сообщение и небезопасные категории
assessment_prompt = f"""
Determine whether the following message warrants moderation,
based on the unsafe categories outlined below.
Message:
{message}
Unsafe Categories:
{unsafe_category_str}
Respond with ONLY a JSON object, using the format below:
{{
"violation": ,
"categories": [Comma-separated list of violated categories],
"explanation": [Optional. Only include if there is a violation.]
}}
Do not include markdown formatting or code fences in your response."""
# Отправляем запрос Claude для модерации контента
response = client.messages.create(
model="claude-haiku-4-5-20251001", # Using the Haiku model for lower costs
max_tokens=200,
messages=[{"role": "user", "content": assessment_prompt}],
)
# Разбираем JSON-ответ от Claude
text_block = next(block for block in response.content if block.type == "text")
assessment = json.loads(text_block.text)
# Извлекаем статус нарушения из оценки
contains_violation = assessment["violation"]
# Если есть нарушение, получаем категории и объяснение; иначе используем пустые значения по умолчанию
violated_categories = assessment.get("categories", []) if contains_violation else []
explanation = assessment.get("explanation") if contains_violation else None
return contains_violation, violated_categories, explanation
# Обрабатываем каждый комментарий и выводим результаты
for comment in user_comments:
print(f"\nComment: {comment}")
violation, violated_categories, explanation = moderate_message(
comment, unsafe_categories
)
if violation:
print(f"Violated Categories: {', '.join(violated_categories)}")
print(f"Explanation: {explanation}")
else:
print("No issues detected.")
```
```typescript TypeScript
// Структура JSON-оценки, которую возвращает Claude
interface ModerationAssessment {
violation: boolean;
categories?: string[];
explanation?: string;
}
async function moderateMessage(
message: string,
unsafeCategories: string[]
): Promise<{ violation: boolean; violatedCategories: string[]; explanation?: string }> {
// Преобразуем небезопасные категории в строку, каждая категория с новой строки
const unsafeCategoryStr = unsafeCategories.join("\n");
// Формируем подсказку для Claude, включая сообщение и небезопасные категории
const assessmentPrompt = `
Determine whether the following message warrants moderation,
based on the unsafe categories outlined below.
Message:
${message}
Unsafe Categories:
${unsafeCategoryStr}
Respond with ONLY a JSON object, using the format below:
{
"violation": ,
"categories": [Comma-separated list of violated categories],
"explanation": [Optional. Only include if there is a violation.]
}
Do not include markdown formatting or code fences in your response.`;
// Отправляем запрос Claude для модерации контента
const response = await client.messages.create({
model: "claude-haiku-4-5-20251001", // Using the Haiku model for lower costs
max_tokens: 200,
messages: [{ role: "user", content: assessmentPrompt }]
});
// Разбираем JSON-ответ от Claude
const textBlock = response.content.find((block) => block.type === "text");
if (!textBlock) {
throw new Error("Expected a text block in the response");
}
const assessment: ModerationAssessment = JSON.parse(textBlock.text);
// Извлекаем статус нарушения из оценки
const containsViolation = assessment.violation;
// Если есть нарушение, получаем категории и объяснение; иначе используем пустые значения по умолчанию
const violatedCategories = containsViolation ? (assessment.categories ?? []) : [];
const explanation = containsViolation ? assessment.explanation : undefined;
return { violation: containsViolation, violatedCategories, explanation };
}
// Обрабатываем каждый комментарий и выводим результаты
for (const comment of userComments) {
console.log(`\nComment: ${comment}`);
const { violation, violatedCategories, explanation } = await moderateMessage(
comment,
unsafeCategories
);
if (violation) {
console.log(`Violated Categories: ${violatedCategories.join(", ")}`);
console.log(`Explanation: ${explanation}`);
} else {
console.log("No issues detected.");
}
}
```
```csharp C#
async Task<(bool ContainsViolation, List ViolatedCategories, string? Explanation)> ModerateMessage(
string message,
IReadOnlyList categories
)
{
// Преобразуем небезопасные категории в строку, каждая категория с новой строки
var unsafeCategoryText = string.Join("\n", categories);
// Формируем подсказку для Claude, включая сообщение и небезопасные категории
var assessmentPrompt = $$"""
Determine whether the following message warrants moderation,
based on the unsafe categories outlined below.
Message:
{{message}}
Unsafe Categories:
{{unsafeCategoryText}}
Respond with ONLY a JSON object, using the format below:
{
"violation": ,
"categories": [Comma-separated list of violated categories],
"explanation": [Optional. Only include if there is a violation.]
}
Do not include markdown formatting or code fences in your response.
""";
// Отправляем запрос Claude для модерации контента
var response = await client.Messages.Create(
new()
{
Model = Model.ClaudeHaiku4_5_20251001, // Using the Haiku model for lower costs
MaxTokens = 200,
Messages = [new() { Role = Role.User, Content = assessmentPrompt }],
}
);
// Сужаем первый блок содержимого до текстового блока, затем разбираем JSON-ответ Claude
if (!response.Content[0].TryPickText(out var textBlock))
{
throw new InvalidOperationException("Expected a text response from Claude.");
}
var assessment = JsonNode.Parse(textBlock.Text)!;
// Извлекаем статус нарушения из оценки
var containsViolation = assessment["violation"]!.GetValue();
// Если есть нарушение, получаем категории и объяснение; иначе используем пустые значения по умолчанию
List violatedCategories = containsViolation
? assessment["categories"]?.AsArray().Select(category => category!.GetValue()).ToList() ?? []
: [];
var explanation = containsViolation ? assessment["explanation"]?.GetValue() : null;
return (containsViolation, violatedCategories, explanation);
}
// Обрабатываем каждый комментарий и выводим результаты
foreach (var comment in userComments)
{
Console.WriteLine($"\nComment: {comment}");
var (violation, violatedCategories, explanation) = await ModerateMessage(comment, unsafeCategories);
if (violation)
{
Console.WriteLine($"Violated Categories: {string.Join(", ", violatedCategories)}");
Console.WriteLine($"Explanation: {explanation}");
}
else
{
Console.WriteLine("No issues detected.");
}
}
```
```go Go
func moderateMessage(message string, unsafeCategories []string) (bool, []string, string) {
// Преобразуем небезопасные категории в строку, каждая категория с новой строки
unsafeCategoryStr := strings.Join(unsafeCategories, "\n")
// Формируем подсказку для Claude, включая сообщение и небезопасные категории
assessmentPrompt := fmt.Sprintf(`
Determine whether the following message warrants moderation,
based on the unsafe categories outlined below.
Message:
%s
Unsafe Categories:
%s
Respond with ONLY a JSON object, using the format below:
{
"violation": ,
"categories": [Comma-separated list of violated categories],
"explanation": [Optional. Only include if there is a violation.]
}
Do not include markdown formatting or code fences in your response.`, message, unsafeCategoryStr)
// Отправляем запрос к Claude для модерации контента
response, err := client.Messages.New(context.Background(), anthropic.MessageNewParams{
Model: anthropic.ModelClaudeHaiku4_5_20251001, // Using the Haiku model for lower costs
MaxTokens: 200,
Messages: []anthropic.MessageParam{
anthropic.NewUserMessage(anthropic.NewTextBlock(assessmentPrompt)),
},
})
if err != nil {
log.Fatal(err)
}
// Сужаем первый блок содержимого до текстового блока перед чтением его текста
textBlock, ok := response.Content[0].AsAny().(anthropic.TextBlock)
if !ok {
log.Fatalf("expected a text block, got %q", response.Content[0].Type)
}
// Разбираем JSON-ответ от Claude
var assessment struct {
Violation bool `json:"violation"`
Categories []string `json:"categories"`
Explanation string `json:"explanation"`
}
if err := json.Unmarshal([]byte(textBlock.Text), &assessment); err != nil {
log.Fatal(err)
}
// Если есть нарушение, возвращаем категории и объяснение; иначе используем пустые значения по умолчанию
if !assessment.Violation {
return false, nil, ""
}
return true, assessment.Categories, assessment.Explanation
}
// moderateAllComments обрабатывает каждый комментарий и выводит результаты.
func moderateAllComments() {
for _, comment := range userComments {
fmt.Printf("\nComment: %s\n", comment)
violation, violatedCategories, explanation := moderateMessage(comment, unsafeCategories)
if violation {
fmt.Printf("Violated Categories: %s\n", strings.Join(violatedCategories, ", "))
fmt.Printf("Explanation: %s\n", explanation)
} else {
fmt.Println("No issues detected.")
}
}
}
```
```java Java
record ModerationResult(boolean violation, List violatedCategories, String explanation) {}
ModerationResult moderateMessage(String message, List unsafeCategories)
throws JsonProcessingException {
// Преобразуем небезопасные категории в строку, каждая категория с новой строки
String unsafeCategoryStr = String.join("\n", unsafeCategories);
// Формируем подсказку для Claude, включая сообщение и небезопасные категории
String assessmentPrompt = """
Determine whether the following message warrants moderation,
based on the unsafe categories outlined below.
Message:
%s
Unsafe Categories:
%s
Respond with ONLY a JSON object, using the format below:
{
"violation": ,
"categories": [Comma-separated list of violated categories],
"explanation": [Optional. Only include if there is a violation.]
}
Do not include markdown formatting or code fences in your response."""
.formatted(message, unsafeCategoryStr);
// Отправляем запрос Claude для модерации контента
Message response = client.messages().create(MessageCreateParams.builder()
.model(Model.CLAUDE_HAIKU_4_5_20251001) // Using the Haiku model for lower costs
.maxTokens(200)
.addUserMessage(assessmentPrompt)
.build());
// Разбираем JSON-ответ от Claude
String assessmentJson = response.content().stream()
.flatMap(contentBlock -> contentBlock.text().stream())
.findFirst()
.orElseThrow()
.text();
ObjectMapper mapper = new ObjectMapper();
JsonNode assessment = mapper.readTree(assessmentJson);
// Извлекаем статус нарушения из оценки
boolean containsViolation = assessment.required("violation").asBoolean();
// Если есть нарушение, получаем категории и объяснение; иначе используем пустые значения по умолчанию
List violatedCategories = containsViolation && assessment.has("categories")
? mapper.convertValue(assessment.get("categories"), new TypeReference>() {})
: List.of();
String explanation = containsViolation && assessment.hasNonNull("explanation")
? assessment.get("explanation").asText()
: null;
return new ModerationResult(containsViolation, violatedCategories, explanation);
}
// Обрабатываем каждый комментарий и выводим результаты
void printModerationResults() throws JsonProcessingException {
for (String comment : userComments) {
IO.println("\nComment: " + comment);
ModerationResult result = moderateMessage(comment, unsafeCategories);
if (result.violation()) {
IO.println("Violated Categories: " + String.join(", ", result.violatedCategories()));
IO.println("Explanation: " + result.explanation());
} else {
IO.println("No issues detected.");
}
}
}
```
```php PHP
$moderateMessage = function (string $message, array $unsafeCategories) use ($client): array {
// Преобразуем небезопасные категории в строку, каждая категория с новой строки
$unsafeCategoryStr = implode("\n", $unsafeCategories);
// Формируем подсказку для Claude, включая сообщение и небезопасные категории
$assessmentPrompt = <<{$message}
Unsafe Categories:
{$unsafeCategoryStr}
Respond with ONLY a JSON object, using the format below:
{
"violation": ,
"categories": [Comma-separated list of violated categories],
"explanation": [Optional. Only include if there is a violation.]
}
Do not include markdown formatting or code fences in your response.
PROMPT;
// Отправляем запрос Claude для модерации контента
$response = $client->messages->create(
model: 'claude-haiku-4-5-20251001', // Using the Haiku model for lower costs
maxTokens: 200,
messages: [['role' => 'user', 'content' => $assessmentPrompt]],
);
// Разбираем JSON-ответ от Claude. SDK декодирует каждый блок содержимого
// в его конкретный класс, поэтому находим TextBlock перед чтением текста.
$textBlock = array_find($response->content, fn ($block) => $block instanceof \Anthropic\Messages\TextBlock)
?? throw new \RuntimeException('Expected a text block in the response.');
$assessment = json_decode($textBlock->text, associative: true, flags: JSON_THROW_ON_ERROR);
// Извлекаем статус нарушения из оценки
$containsViolation = $assessment['violation'];
// Если есть нарушение, получаем категории и объяснение; иначе используем пустые значения по умолчанию
$violatedCategories = $containsViolation ? ($assessment['categories'] ?? []) : [];
$explanation = $containsViolation ? ($assessment['explanation'] ?? null) : null;
return [$containsViolation, $violatedCategories, $explanation];
};
// Обрабатываем каждый комментарий и выводим результаты
foreach ($userComments as $comment) {
echo "\nComment: {$comment}\n";
[$violation, $violatedCategories, $explanation] = $moderateMessage($comment, $unsafeCategories);
if ($violation) {
echo 'Violated Categories: ' . implode(', ', $violatedCategories) . "\n";
echo "Explanation: {$explanation}\n";
} else {
echo "No issues detected.\n";
}
}
```
```ruby Ruby
def moderate_message(message, unsafe_categories)
# Преобразуем небезопасные категории в строку, каждая категория на новой строке
unsafe_category_str = unsafe_categories.join("\n")
# Формируем подсказку для Claude, включая сообщение и небезопасные категории
assessment_prompt = <<~PROMPT.chomp
Determine whether the following message warrants moderation,
based on the unsafe categories outlined below.
Message:
#{message}
Unsafe Categories:
#{unsafe_category_str}
Respond with ONLY a JSON object, using the format below:
{
"violation": ,
"categories": [Comma-separated list of violated categories],
"explanation": [Optional. Only include if there is a violation.]
}
Do not include markdown formatting or code fences in your response.
PROMPT
# Отправляем запрос Claude для модерации контента
response = CLIENT.messages.create(
model: "claude-haiku-4-5-20251001", # Using the Haiku model for lower costs
max_tokens: 200,
messages: [{role: :user, content: assessment_prompt}]
)
# Разбираем JSON-ответ от Claude
text_block = response.content.find { it.type == :text }
assessment = JSON.parse(text_block.text)
# Извлекаем статус нарушения из оценки
contains_violation = assessment["violation"]
# Если есть нарушение, получаем категории и объяснение; иначе используем пустые значения по умолчанию
violated_categories = contains_violation ? assessment.fetch("categories", []) : []
explanation = contains_violation ? assessment["explanation"] : nil
[contains_violation, violated_categories, explanation]
end
# Обрабатываем каждый комментарий и выводим результаты
USER_COMMENTS.each do |comment|
puts "\nComment: #{comment}"
violation, violated_categories, explanation = moderate_message(comment, UNSAFE_CATEGORIES)
if violation
puts "Violated Categories: #{violated_categories.join(", ")}"
puts "Explanation: #{explanation}"
else
puts "No issues detected."
end
end
```
В этом примере функция `moderate_message` содержит оценочную подсказку, включающую категории небезопасного контента и сообщение для оценки. Подсказка просит Claude оценить, следует ли модерировать сообщение, на основе небезопасных категорий, которые вы определили ранее.
Затем оценка модели разбирается, чтобы определить, есть ли нарушение. Если нарушение есть, Claude также возвращает список нарушенных категорий и объяснение того, почему сообщение небезопасно.
### Оцените вашу подсказку
Модерация контента — это задача классификации. Поэтому вы можете использовать те же методы, что описаны в [cookbook по классификации](https://platform.claude.com/cookbook/capabilities-classification-guide), чтобы определить точность вашей системы модерации контента.
Ещё одно соображение: вместо того чтобы рассматривать модерацию контента как задачу бинарной классификации, вы можете создать несколько категорий, представляющих различные уровни риска. Создание нескольких уровней риска позволяет регулировать строгость вашей модерации. Например, вы можете автоматически блокировать пользовательские запросы, признанные высокорисковыми, а пользователей с большим количеством запросов среднего риска помечать для проверки человеком.
```python Python
def assess_risk_level(message, unsafe_categories):
# Преобразуем небезопасные категории в строку, каждая категория с новой строки
unsafe_category_str = "\n".join(unsafe_categories)
# Формируем подсказку для Claude, включая сообщение, небезопасные категории и определения уровней риска
assessment_prompt = f"""
Assess the risk level of the following message,
based on the unsafe categories listed below.
Message:
{message}
Unsafe Categories:
{unsafe_category_str}
Assign a risk level based on your confidence that the user's message should be moderated
based on the defined unsafe categories:
0 - No risk
1 - Low risk
2 - Medium risk
3 - High risk
Respond with ONLY a JSON object, using the format below:
{{
"risk_level": ,
"categories": [Comma-separated list of violated categories],
"explanation":
}}
Do not include markdown formatting or code fences in your response."""
# Отправляем запрос Claude для оценки риска
response = client.messages.create(
model="claude-haiku-4-5-20251001", # Using the Haiku model for lower costs
max_tokens=200,
messages=[{"role": "user", "content": assessment_prompt}],
)
# Разбираем JSON-ответ от Claude
text_block = next(block for block in response.content if block.type == "text")
assessment = json.loads(text_block.text)
# Извлекаем уровень риска, нарушенные категории и объяснение из оценки
risk_level = assessment["risk_level"]
violated_categories = assessment["categories"]
explanation = assessment.get("explanation")
return risk_level, violated_categories, explanation
# Обрабатываем каждый комментарий и выводим результаты
for comment in user_comments:
print(f"\nComment: {comment}")
risk_level, violated_categories, explanation = assess_risk_level(
comment, unsafe_categories
)
print(f"Risk Level: {risk_level}")
if violated_categories:
print(f"Violated Categories: {', '.join(violated_categories)}")
if explanation:
print(f"Explanation: {explanation}")
```
```typescript TypeScript
// Структура JSON-оценки риска, которую возвращает Claude
interface RiskAssessment {
risk_level: number;
categories: string[];
explanation?: string;
}
async function assessRiskLevel(
message: string,
unsafeCategories: string[]
): Promise<{ riskLevel: number; violatedCategories: string[]; explanation?: string }> {
// Преобразуем небезопасные категории в строку, каждая категория с новой строки
const unsafeCategoryStr = unsafeCategories.join("\n");
// Формируем подсказку для Claude, включая сообщение, небезопасные категории и определения уровней риска
const assessmentPrompt = `
Assess the risk level of the following message,
based on the unsafe categories listed below.
Message:
${message}
Unsafe Categories:
${unsafeCategoryStr}
Assign a risk level based on your confidence that the user's message should be moderated
based on the defined unsafe categories:
0 - No risk
1 - Low risk
2 - Medium risk
3 - High risk
Respond with ONLY a JSON object, using the format below:
{
"risk_level": ,
"categories": [Comma-separated list of violated categories],
"explanation":
}
Do not include markdown formatting or code fences in your response.`;
// Отправляем запрос Claude для оценки риска
const response = await client.messages.create({
model: "claude-haiku-4-5-20251001", // Using the Haiku model for lower costs
max_tokens: 200,
messages: [{ role: "user", content: assessmentPrompt }]
});
// Разбираем JSON-ответ от Claude
const textBlock = response.content.find((block) => block.type === "text");
if (!textBlock) {
throw new Error("Expected a text block in the response");
}
const assessment: RiskAssessment = JSON.parse(textBlock.text);
// Извлекаем из оценки уровень риска, нарушенные категории и объяснение
const { risk_level: riskLevel, categories: violatedCategories, explanation } = assessment;
return { riskLevel, violatedCategories, explanation };
}
// Обрабатываем каждый комментарий и выводим результаты
for (const comment of userComments) {
console.log(`\nComment: ${comment}`);
const { riskLevel, violatedCategories, explanation } = await assessRiskLevel(
comment,
unsafeCategories
);
console.log(`Risk Level: ${riskLevel}`);
if (violatedCategories.length > 0) {
console.log(`Violated Categories: ${violatedCategories.join(", ")}`);
}
if (explanation) {
console.log(`Explanation: ${explanation}`);
}
}
```
```csharp C#
async Task<(int RiskLevel, List ViolatedCategories, string? Explanation)> AssessRiskLevel(
string message,
IReadOnlyList categories
)
{
// Преобразуем небезопасные категории в строку, каждая категория с новой строки
var unsafeCategoryText = string.Join("\n", categories);
// Формируем подсказку для Claude, включая сообщение, небезопасные категории и определения уровней риска
var assessmentPrompt = $$"""
Assess the risk level of the following message,
based on the unsafe categories listed below.
Message:
{{message}}
Unsafe Categories:
{{unsafeCategoryText}}
Assign a risk level based on your confidence that the user's message should be moderated
based on the defined unsafe categories:
0 - No risk
1 - Low risk
2 - Medium risk
3 - High risk
Respond with ONLY a JSON object, using the format below:
{
"risk_level": ,
"categories": [Comma-separated list of violated categories],
"explanation":
}
Do not include markdown formatting or code fences in your response.
""";
// Отправляем запрос Claude для оценки риска
var response = await client.Messages.Create(
new()
{
Model = Model.ClaudeHaiku4_5_20251001, // Using the Haiku model for lower costs
MaxTokens = 200,
Messages = [new() { Role = Role.User, Content = assessmentPrompt }],
}
);
// Сужаем первый блок содержимого до текстового блока, затем разбираем JSON-ответ Claude
if (!response.Content[0].TryPickText(out var textBlock))
{
throw new InvalidOperationException("Expected a text response from Claude.");
}
var assessment = JsonNode.Parse(textBlock.Text)!;
// Извлекаем уровень риска, нарушенные категории и объяснение из оценки
var riskLevel = assessment["risk_level"]!.GetValue();
var violatedCategories = assessment["categories"]!
.AsArray()
.Select(category => category!.GetValue())
.ToList();
var explanation = assessment["explanation"]?.GetValue();
return (riskLevel, violatedCategories, explanation);
}
// Обрабатываем каждый комментарий и выводим результаты
foreach (var comment in userComments)
{
Console.WriteLine($"\nComment: {comment}");
var (riskLevel, violatedCategories, explanation) = await AssessRiskLevel(comment, unsafeCategories);
Console.WriteLine($"Risk Level: {riskLevel}");
if (violatedCategories.Count > 0)
{
Console.WriteLine($"Violated Categories: {string.Join(", ", violatedCategories)}");
}
if (!string.IsNullOrEmpty(explanation))
{
Console.WriteLine($"Explanation: {explanation}");
}
}
```
```go Go
func assessRiskLevel(message string, unsafeCategories []string) (int, []string, string) {
// Преобразуем небезопасные категории в строку, каждая категория с новой строки
unsafeCategoryStr := strings.Join(unsafeCategories, "\n")
// Формируем подсказку для Claude, включая сообщение, небезопасные категории и определения уровней риска
assessmentPrompt := fmt.Sprintf(`
Assess the risk level of the following message,
based on the unsafe categories listed below.
Message:
%s
Unsafe Categories:
%s
Assign a risk level based on your confidence that the user's message should be moderated
based on the defined unsafe categories:
0 - No risk
1 - Low risk
2 - Medium risk
3 - High risk
Respond with ONLY a JSON object, using the format below:
{
"risk_level": ,
"categories": [Comma-separated list of violated categories],
"explanation":
}
Do not include markdown formatting or code fences in your response.`, message, unsafeCategoryStr)
// Отправляем запрос к Claude для оценки риска
response, err := client.Messages.New(context.Background(), anthropic.MessageNewParams{
Model: anthropic.ModelClaudeHaiku4_5_20251001, // Using the Haiku model for lower costs
MaxTokens: 200,
Messages: []anthropic.MessageParam{
anthropic.NewUserMessage(anthropic.NewTextBlock(assessmentPrompt)),
},
})
if err != nil {
log.Fatal(err)
}
// Сужаем первый блок содержимого до текстового блока перед чтением его текста
textBlock, ok := response.Content[0].AsAny().(anthropic.TextBlock)
if !ok {
log.Fatalf("expected a text block, got %q", response.Content[0].Type)
}
// Разбираем JSON-ответ от Claude
var assessment struct {
RiskLevel int `json:"risk_level"`
Categories []string `json:"categories"`
Explanation string `json:"explanation"`
}
if err := json.Unmarshal([]byte(textBlock.Text), &assessment); err != nil {
log.Fatal(err)
}
// Возвращаем уровень риска, нарушенные категории и объяснение из оценки
return assessment.RiskLevel, assessment.Categories, assessment.Explanation
}
// assessAllRiskLevels обрабатывает каждый комментарий и выводит результаты.
func assessAllRiskLevels() {
for _, comment := range userComments {
fmt.Printf("\nComment: %s\n", comment)
riskLevel, violatedCategories, explanation := assessRiskLevel(comment, unsafeCategories)
fmt.Printf("Risk Level: %d\n", riskLevel)
if len(violatedCategories) > 0 {
fmt.Printf("Violated Categories: %s\n", strings.Join(violatedCategories, ", "))
}
if explanation != "" {
fmt.Printf("Explanation: %s\n", explanation)
}
}
}
```
```java Java
record RiskAssessment(int riskLevel, List violatedCategories, String explanation) {}
RiskAssessment assessRiskLevel(String message, List unsafeCategories)
throws JsonProcessingException {
// Преобразуем небезопасные категории в строку, каждая категория с новой строки
String unsafeCategoryStr = String.join("\n", unsafeCategories);
// Формируем подсказку для Claude, включая сообщение, небезопасные категории и определения уровней риска
String assessmentPrompt = """
Assess the risk level of the following message,
based on the unsafe categories listed below.
Message:
%s
Unsafe Categories:
%s
Assign a risk level based on your confidence that the user's message should be moderated
based on the defined unsafe categories:
0 - No risk
1 - Low risk
2 - Medium risk
3 - High risk
Respond with ONLY a JSON object, using the format below:
{
"risk_level": ,
"categories": [Comma-separated list of violated categories],
"explanation":
}
Do not include markdown formatting or code fences in your response."""
.formatted(message, unsafeCategoryStr);
// Отправляем запрос Claude для оценки риска
Message response = client.messages().create(MessageCreateParams.builder()
.model(Model.CLAUDE_HAIKU_4_5_20251001) // Using the Haiku model for lower costs
.maxTokens(200)
.addUserMessage(assessmentPrompt)
.build());
// Разбираем JSON-ответ от Claude
String assessmentJson = response.content().stream()
.flatMap(contentBlock -> contentBlock.text().stream())
.findFirst()
.orElseThrow()
.text();
ObjectMapper mapper = new ObjectMapper();
JsonNode assessment = mapper.readTree(assessmentJson);
// Извлекаем из оценки уровень риска, нарушенные категории и объяснение
int riskLevel = assessment.required("risk_level").asInt();
JsonNode categoriesNode = assessment.required("categories");
List violatedCategories = categoriesNode.isNull()
? List.of()
: mapper.convertValue(categoriesNode, new TypeReference>() {});
String explanation = assessment.hasNonNull("explanation")
? assessment.get("explanation").asText()
: null;
return new RiskAssessment(riskLevel, violatedCategories, explanation);
}
// Обрабатываем каждый комментарий и выводим результаты
void printRiskLevels() throws JsonProcessingException {
for (String comment : userComments) {
IO.println("\nComment: " + comment);
RiskAssessment assessment = assessRiskLevel(comment, unsafeCategories);
IO.println("Risk Level: " + assessment.riskLevel());
if (!assessment.violatedCategories().isEmpty()) {
IO.println("Violated Categories: " + String.join(", ", assessment.violatedCategories()));
}
if (assessment.explanation() != null && !assessment.explanation().isEmpty()) {
IO.println("Explanation: " + assessment.explanation());
}
}
}
```
```php PHP
$assessRiskLevel = function (string $message, array $unsafeCategories) use ($client): array {
// Преобразуем небезопасные категории в строку, каждая категория с новой строки
$unsafeCategoryStr = implode("\n", $unsafeCategories);
// Формируем подсказку для Claude, включая сообщение, небезопасные категории и определения уровней риска
$assessmentPrompt = <<{$message}
Unsafe Categories:
{$unsafeCategoryStr}
Assign a risk level based on your confidence that the user's message should be moderated
based on the defined unsafe categories:
0 - No risk
1 - Low risk
2 - Medium risk
3 - High risk
Respond with ONLY a JSON object, using the format below:
{
"risk_level": ,
"categories": [Comma-separated list of violated categories],
"explanation":
}
Do not include markdown formatting or code fences in your response.
PROMPT;
// Отправляем запрос Claude для оценки риска
$response = $client->messages->create(
model: 'claude-haiku-4-5-20251001', // Using the Haiku model for lower costs
maxTokens: 200,
messages: [['role' => 'user', 'content' => $assessmentPrompt]],
);
// Разбираем JSON-ответ от Claude. SDK декодирует каждый блок содержимого
// в его конкретный класс, поэтому находим TextBlock перед чтением текста.
$textBlock = array_find($response->content, fn ($block) => $block instanceof \Anthropic\Messages\TextBlock)
?? throw new \RuntimeException('Expected a text block in the response.');
$assessment = json_decode($textBlock->text, associative: true, flags: JSON_THROW_ON_ERROR);
// Извлекаем из оценки уровень риска, нарушенные категории и объяснение
$riskLevel = $assessment['risk_level'];
$violatedCategories = $assessment['categories'];
$explanation = $assessment['explanation'] ?? null;
return [$riskLevel, $violatedCategories, $explanation];
};
// Обрабатываем каждый комментарий и выводим результаты
foreach ($userComments as $comment) {
echo "\nComment: {$comment}\n";
[$riskLevel, $violatedCategories, $explanation] = $assessRiskLevel($comment, $unsafeCategories);
echo "Risk Level: {$riskLevel}\n";
if ($violatedCategories) {
echo 'Violated Categories: ' . implode(', ', $violatedCategories) . "\n";
}
if ($explanation) {
echo "Explanation: {$explanation}\n";
}
}
```
```ruby Ruby
def assess_risk_level(message, unsafe_categories)
# Преобразуем небезопасные категории в строку, каждая категория на новой строке
unsafe_category_str = unsafe_categories.join("\n")
# Формируем подсказку для Claude, включая сообщение, небезопасные категории и определения уровней риска
assessment_prompt = <<~PROMPT.chomp
Assess the risk level of the following message,
based on the unsafe categories listed below.
Message:
#{message}
Unsafe Categories:
#{unsafe_category_str}
Assign a risk level based on your confidence that the user's message should be moderated
based on the defined unsafe categories:
0 - No risk
1 - Low risk
2 - Medium risk
3 - High risk
Respond with ONLY a JSON object, using the format below:
{
"risk_level": ,
"categories": [Comma-separated list of violated categories],
"explanation":
}
Do not include markdown formatting or code fences in your response.
PROMPT
# Отправляем запрос Claude для оценки риска
response = CLIENT.messages.create(
model: "claude-haiku-4-5-20251001", # Using the Haiku model for lower costs
max_tokens: 200,
messages: [{role: :user, content: assessment_prompt}]
)
# Разбираем JSON-ответ от Claude
text_block = response.content.find { it.type == :text }
assessment = JSON.parse(text_block.text)
# Извлекаем из оценки уровень риска, нарушенные категории и объяснение
risk_level = assessment["risk_level"]
violated_categories = assessment["categories"]
explanation = assessment["explanation"]
[risk_level, violated_categories, explanation]
end
# Обрабатываем каждый комментарий и выводим результаты
USER_COMMENTS.each do |comment|
puts "\nComment: #{comment}"
risk_level, violated_categories, explanation = assess_risk_level(comment, UNSAFE_CATEGORIES)
puts "Risk Level: #{risk_level}"
puts "Violated Categories: #{violated_categories.join(", ")}" if violated_categories&.any?
puts "Explanation: #{explanation}" if explanation
end
```
Этот код реализует функцию `assess_risk_level`, которая использует Claude для оценки уровня риска сообщения. Функция принимает на вход сообщение и небезопасные категории.
Внутри функции для Claude генерируется подсказка, включающая сообщение для оценки, небезопасные категории и конкретные инструкции по оценке уровня риска. Подсказка предписывает Claude ответить JSON-объектом, который включает уровень риска, нарушенные категории и необязательное объяснение.
Такой подход обеспечивает гибкую модерацию контента за счёт присвоения уровней риска. Его можно легко интегрировать в более крупную систему для автоматической фильтрации контента или пометки комментариев для проверки человеком на основе оценённого уровня риска. Например, при выполнении этого кода комментарий `Delete this post now or you better hide. I am coming after you and your family.` определяется как высокорисковый из-за содержащейся в нём опасной угрозы. И наоборот, комментарий `Stay away from the 5G cellphones!! They are using 5G to control you.` относится к категории среднего риска.
### Разверните вашу подсказку
Когда вы будете уверены в качестве своего решения, настанет время развернуть его в продакшене. Вот несколько лучших практик, которым стоит следовать при использовании модерации контента в продакшене:
1. **Предоставляйте пользователям понятную обратную связь:** когда пользовательский ввод блокируется или ответ помечается в результате модерации контента, предоставляйте информативную и конструктивную обратную связь, чтобы помочь пользователям понять, почему их сообщение было помечено и как они могут переформулировать его надлежащим образом. В приведённых выше примерах кода это делается через поле `explanation` в ответе Claude.
2. **Анализируйте модерируемый контент:** отслеживайте типы контента, помечаемого вашей системой модерации, чтобы выявлять тенденции и потенциальные области для улучшения.
3. **Постоянно оценивайте и улучшайте:** регулярно оценивайте производительность вашей системы модерации контента с помощью таких метрик, как отслеживание точности (precision) и полноты (recall). Используйте эти данные для итеративного уточнения ваших подсказок для модерации, ключевых слов и критериев оценки.
***
## Повышение производительности
В сложных сценариях может быть полезно рассмотреть дополнительные стратегии повышения производительности помимо стандартных [методов «prompt engineering» (инженерии подсказок)](https://platform.claude.com/docs/ru/build-with-claude/prompt-engineering/overview). Вот несколько продвинутых стратегий:
### Определите темы и приведите примеры
Помимо перечисления небезопасных категорий в подсказке, дальнейших улучшений можно добиться, предоставив определения и фразы, относящиеся к каждой категории.
```python Python
# Категории, считающиеся небезопасными для модерации контента, с их определениями
unsafe_category_definitions = {
"Child Exploitation": "Content that depicts child nudity or that enables, encourages, excuses, or depicts the sexual abuse of children.",
"Conspiracy Theories": """Content that promotes or endorses unfounded, false, or misleading theories about events, situations, or individuals,
which can incite harm or undermine public trust in institutions or facts.""",
"Hate": """Content that is hateful toward people on the basis of their protected characteristics
(race, color, ethnicity, national origin, disability, religious affiliation, caste, sexual orientation, sex, gender identity and serious disease),
or content that perpetuates negative stereotypes.""",
"Indiscriminate Weapons": "Content that enables the creation of weapons of mass destruction.",
"Intellectual Property": "Content that violates the intellectual property rights of third parties.",
"Non-Violent Crimes": "Content that enables, encourages, or excuses the commission of non-violent crimes.",
"Privacy": "Content that contains sensitive, personal information about private individuals.",
"Self-Harm": "Content that enables, encourages, or excuses acts of intentional self-harm.",
"Sex Crimes": "Content that enables, encourages, or excuses the commission of sex crimes.",
"Sexual Content": "Content that contains erotic descriptions or explicit depictions of sex acts.",
"Specialized Advice": """Content that contains financial, medical, or legal advice.
Financial advice includes guidance on investments, stocks, bonds, or any financial planning.""",
"Violent Crimes": "Content that enables, encourages, or excuses the commission of violent crimes.",
}
def moderate_message_with_definitions(message, unsafe_category_definitions):
# Форматируем строку небезопасных категорий: каждая категория и её определение с новой строки
unsafe_category_str = "\n".join(
f"{category}: {definition}"
for category, definition in unsafe_category_definitions.items()
)
# Формируем подсказку для Claude, включая сообщение и небезопасные категории
assessment_prompt = f"""Determine whether the following message warrants moderation, based on the unsafe categories outlined below.
Message:
{message}
Unsafe Categories and Their Definitions:
{unsafe_category_str}
It's important that you remember all unsafe categories and their definitions.
Respond with ONLY a JSON object, using the format below:
{{
"violation": ,
"categories": [Comma-separated list of violated categories],
"explanation": [Optional. Only include if there is a violation.]
}}
Do not include markdown formatting or code fences in your response."""
# Отправляем запрос Claude для модерации контента
response = client.messages.create(
model="claude-haiku-4-5-20251001", # Using the Haiku model for lower costs
max_tokens=200,
messages=[{"role": "user", "content": assessment_prompt}],
)
# Разбираем JSON-ответ от Claude
text_block = next(block for block in response.content if block.type == "text")
assessment = json.loads(text_block.text)
# Извлекаем статус нарушения из оценки
contains_violation = assessment["violation"]
# Если есть нарушение, получаем категории и объяснение; иначе используем пустые значения по умолчанию
violated_categories = assessment.get("categories", []) if contains_violation else []
explanation = assessment.get("explanation") if contains_violation else None
return contains_violation, violated_categories, explanation
# Обрабатываем каждый комментарий и выводим результаты
for comment in user_comments:
print(f"\nComment: {comment}")
violation, violated_categories, explanation = moderate_message_with_definitions(
comment, unsafe_category_definitions
)
if violation:
print(f"Violated Categories: {', '.join(violated_categories)}")
print(f"Explanation: {explanation}")
else:
print("No issues detected.")
```
```typescript TypeScript
// Структура JSON-оценки, которую возвращает Claude
interface DefinitionBasedAssessment {
violation: boolean;
categories?: string[];
explanation?: string;
}
// Категории, считающиеся небезопасными при модерации контента, с их определениями
// (ключи объекта сохраняют порядок вставки, поэтому категории выводятся в этом порядке)
const unsafeCategoryDefinitions: Record = {
"Child Exploitation":
"Content that depicts child nudity or that enables, encourages, excuses, or depicts the sexual abuse of children.",
"Conspiracy Theories": `Content that promotes or endorses unfounded, false, or misleading theories about events, situations, or individuals,
which can incite harm or undermine public trust in institutions or facts.`,
Hate: `Content that is hateful toward people on the basis of their protected characteristics
(race, color, ethnicity, national origin, disability, religious affiliation, caste, sexual orientation, sex, gender identity and serious disease),
or content that perpetuates negative stereotypes.`,
"Indiscriminate Weapons":
"Content that enables the creation of weapons of mass destruction.",
"Intellectual Property":
"Content that violates the intellectual property rights of third parties.",
"Non-Violent Crimes":
"Content that enables, encourages, or excuses the commission of non-violent crimes.",
Privacy: "Content that contains sensitive, personal information about private individuals.",
"Self-Harm": "Content that enables, encourages, or excuses acts of intentional self-harm.",
"Sex Crimes": "Content that enables, encourages, or excuses the commission of sex crimes.",
"Sexual Content":
"Content that contains erotic descriptions or explicit depictions of sex acts.",
"Specialized Advice": `Content that contains financial, medical, or legal advice.
Financial advice includes guidance on investments, stocks, bonds, or any financial planning.`,
"Violent Crimes":
"Content that enables, encourages, or excuses the commission of violent crimes."
};
async function moderateMessageWithDefinitions(
message: string,
unsafeCategoryDefinitions: Record
): Promise<{ violation: boolean; violatedCategories: string[]; explanation?: string }> {
// Форматируем строку небезопасных категорий: каждая категория и её определение с новой строки
const unsafeCategoryStr = Object.entries(unsafeCategoryDefinitions)
.map(([category, definition]) => `${category}: ${definition}`)
.join("\n");
// Формируем подсказку для Claude, включая сообщение и небезопасные категории
const assessmentPrompt = `Determine whether the following message warrants moderation, based on the unsafe categories outlined below.
Message:
${message}
Unsafe Categories and Their Definitions:
${unsafeCategoryStr}
It's important that you remember all unsafe categories and their definitions.
Respond with ONLY a JSON object, using the format below:
{
"violation": ,
"categories": [Comma-separated list of violated categories],
"explanation": [Optional. Only include if there is a violation.]
}
Do not include markdown formatting or code fences in your response.`;
// Отправляем запрос Claude для модерации контента
const response = await client.messages.create({
model: "claude-haiku-4-5-20251001", // Using the Haiku model for lower costs
max_tokens: 200,
messages: [{ role: "user", content: assessmentPrompt }]
});
// Разбираем JSON-ответ от Claude
const textBlock = response.content.find((block) => block.type === "text");
if (!textBlock) {
throw new Error("Expected a text block in the response");
}
const assessment: DefinitionBasedAssessment = JSON.parse(textBlock.text);
// Извлекаем статус нарушения из оценки
const containsViolation = assessment.violation;
// Если есть нарушение, получаем категории и объяснение; иначе используем пустые значения по умолчанию
const violatedCategories = containsViolation ? (assessment.categories ?? []) : [];
const explanation = containsViolation ? assessment.explanation : undefined;
return { violation: containsViolation, violatedCategories, explanation };
}
// Обрабатываем каждый комментарий и выводим результаты
for (const comment of userComments) {
console.log(`\nComment: ${comment}`);
const { violation, violatedCategories, explanation } = await moderateMessageWithDefinitions(
comment,
unsafeCategoryDefinitions
);
if (violation) {
console.log(`Violated Categories: ${violatedCategories.join(", ")}`);
console.log(`Explanation: ${explanation}`);
} else {
console.log("No issues detected.");
}
}
```
```csharp C#
// Категории, считающиеся небезопасными для модерации контента, с их определениями.
// Записи сохраняют порядок вставки, поэтому итоговая подсказка перечисляет категории
// именно в этом порядке.
(string Category, string Definition)[] unsafeCategoryDefinitions =
[
(
"Child Exploitation",
"Content that depicts child nudity or that enables, encourages, excuses, or depicts the sexual abuse of children."
),
(
"Conspiracy Theories",
"""
Content that promotes or endorses unfounded, false, or misleading theories about events, situations, or individuals,
which can incite harm or undermine public trust in institutions or facts.
"""
),
(
"Hate",
"""
Content that is hateful toward people on the basis of their protected characteristics
(race, color, ethnicity, national origin, disability, religious affiliation, caste, sexual orientation, sex, gender identity and serious disease),
or content that perpetuates negative stereotypes.
"""
),
("Indiscriminate Weapons", "Content that enables the creation of weapons of mass destruction."),
("Intellectual Property", "Content that violates the intellectual property rights of third parties."),
("Non-Violent Crimes", "Content that enables, encourages, or excuses the commission of non-violent crimes."),
("Privacy", "Content that contains sensitive, personal information about private individuals."),
("Self-Harm", "Content that enables, encourages, or excuses acts of intentional self-harm."),
("Sex Crimes", "Content that enables, encourages, or excuses the commission of sex crimes."),
("Sexual Content", "Content that contains erotic descriptions or explicit depictions of sex acts."),
(
"Specialized Advice",
"""
Content that contains financial, medical, or legal advice.
Financial advice includes guidance on investments, stocks, bonds, or any financial planning.
"""
),
("Violent Crimes", "Content that enables, encourages, or excuses the commission of violent crimes."),
];
async Task<(bool ContainsViolation, List ViolatedCategories, string? Explanation)> ModerateMessageWithDefinitions(
string message,
IReadOnlyList<(string Category, string Definition)> categoryDefinitions
)
{
// Форматируем строку небезопасных категорий: каждая категория и её определение с новой строки
var unsafeCategoryText = string.Join(
"\n",
categoryDefinitions.Select(entry => $"{entry.Category}: {entry.Definition}")
);
// Формируем подсказку для Claude, включая сообщение и небезопасные категории
var assessmentPrompt = $$"""
Determine whether the following message warrants moderation, based on the unsafe categories outlined below.
Message:
{{message}}
Unsafe Categories and Their Definitions:
{{unsafeCategoryText}}
It's important that you remember all unsafe categories and their definitions.
Respond with ONLY a JSON object, using the format below:
{
"violation": ,
"categories": [Comma-separated list of violated categories],
"explanation": [Optional. Only include if there is a violation.]
}
Do not include markdown formatting or code fences in your response.
""";
// Отправляем запрос Claude для модерации контента
var response = await client.Messages.Create(
new()
{
Model = Model.ClaudeHaiku4_5_20251001, // Using the Haiku model for lower costs
MaxTokens = 200,
Messages = [new() { Role = Role.User, Content = assessmentPrompt }],
}
);
// Сужаем первый блок содержимого до текстового блока, затем разбираем JSON-ответ Claude
if (!response.Content[0].TryPickText(out var textBlock))
{
throw new InvalidOperationException("Expected a text response from Claude.");
}
var assessment = JsonNode.Parse(textBlock.Text)!;
// Извлекаем статус нарушения из оценки
var containsViolation = assessment["violation"]!.GetValue();
// Если есть нарушение, получаем категории и объяснение; иначе используем пустые значения по умолчанию
List violatedCategories = containsViolation
? assessment["categories"]?.AsArray().Select(category => category!.GetValue()).ToList() ?? []
: [];
var explanation = containsViolation ? assessment["explanation"]?.GetValue() : null;
return (containsViolation, violatedCategories, explanation);
}
// Обрабатываем каждый комментарий и выводим результаты
foreach (var comment in userComments)
{
Console.WriteLine($"\nComment: {comment}");
var (violation, violatedCategories, explanation) = await ModerateMessageWithDefinitions(
comment,
unsafeCategoryDefinitions
);
if (violation)
{
Console.WriteLine($"Violated Categories: {string.Join(", ", violatedCategories)}");
Console.WriteLine($"Explanation: {explanation}");
}
else
{
Console.WriteLine("No issues detected.");
}
}
```
```go Go
// Категории, считающиеся небезопасными для модерации контента, с их определениями.
// Срез пар «категория/определение» (а не map) сохраняет стабильный порядок
// вывода; map в Go итерируются в случайном порядке.
type categoryDefinition struct {
category string
definition string
}
var unsafeCategoryDefinitions = []categoryDefinition{
{"Child Exploitation", "Content that depicts child nudity or that enables, encourages, excuses, or depicts the sexual abuse of children."},
{"Conspiracy Theories", `Content that promotes or endorses unfounded, false, or misleading theories about events, situations, or individuals,
which can incite harm or undermine public trust in institutions or facts.`},
{"Hate", `Content that is hateful toward people on the basis of their protected characteristics
(race, color, ethnicity, national origin, disability, religious affiliation, caste, sexual orientation, sex, gender identity and serious disease),
or content that perpetuates negative stereotypes.`},
{"Indiscriminate Weapons", "Content that enables the creation of weapons of mass destruction."},
{"Intellectual Property", "Content that violates the intellectual property rights of third parties."},
{"Non-Violent Crimes", "Content that enables, encourages, or excuses the commission of non-violent crimes."},
{"Privacy", "Content that contains sensitive, personal information about private individuals."},
{"Self-Harm", "Content that enables, encourages, or excuses acts of intentional self-harm."},
{"Sex Crimes", "Content that enables, encourages, or excuses the commission of sex crimes."},
{"Sexual Content", "Content that contains erotic descriptions or explicit depictions of sex acts."},
{"Specialized Advice", `Content that contains financial, medical, or legal advice.
Financial advice includes guidance on investments, stocks, bonds, or any financial planning.`},
{"Violent Crimes", "Content that enables, encourages, or excuses the commission of violent crimes."},
}
func moderateMessageWithDefinitions(message string, unsafeCategoryDefinitions []categoryDefinition) (bool, []string, string) {
// Форматируем строку небезопасных категорий: каждая категория и её определение с новой строки
categoryLines := make([]string, len(unsafeCategoryDefinitions))
for i, entry := range unsafeCategoryDefinitions {
categoryLines[i] = fmt.Sprintf("%s: %s", entry.category, entry.definition)
}
unsafeCategoryStr := strings.Join(categoryLines, "\n")
// Формируем подсказку для Claude, включая сообщение и небезопасные категории
assessmentPrompt := fmt.Sprintf(`Determine whether the following message warrants moderation, based on the unsafe categories outlined below.
Message:
%s
Unsafe Categories and Their Definitions:
%s
It's important that you remember all unsafe categories and their definitions.
Respond with ONLY a JSON object, using the format below:
{
"violation": ,
"categories": [Comma-separated list of violated categories],
"explanation": [Optional. Only include if there is a violation.]
}
Do not include markdown formatting or code fences in your response.`, message, unsafeCategoryStr)
// Отправляем запрос к Claude для модерации контента
response, err := client.Messages.New(context.Background(), anthropic.MessageNewParams{
Model: anthropic.ModelClaudeHaiku4_5_20251001, // Using the Haiku model for lower costs
MaxTokens: 200,
Messages: []anthropic.MessageParam{
anthropic.NewUserMessage(anthropic.NewTextBlock(assessmentPrompt)),
},
})
if err != nil {
log.Fatal(err)
}
// Сужаем первый блок содержимого до текстового блока перед чтением его текста
textBlock, ok := response.Content[0].AsAny().(anthropic.TextBlock)
if !ok {
log.Fatalf("expected a text block, got %q", response.Content[0].Type)
}
// Разбираем JSON-ответ от Claude
var assessment struct {
Violation bool `json:"violation"`
Categories []string `json:"categories"`
Explanation string `json:"explanation"`
}
if err := json.Unmarshal([]byte(textBlock.Text), &assessment); err != nil {
log.Fatal(err)
}
// Если есть нарушение, возвращаем категории и объяснение; иначе используем пустые значения по умолчанию
if !assessment.Violation {
return false, nil, ""
}
return true, assessment.Categories, assessment.Explanation
}
// moderateAllCommentsWithDefinitions обрабатывает каждый комментарий и выводит результаты.
func moderateAllCommentsWithDefinitions() {
for _, comment := range userComments {
fmt.Printf("\nComment: %s\n", comment)
violation, violatedCategories, explanation := moderateMessageWithDefinitions(comment, unsafeCategoryDefinitions)
if violation {
fmt.Printf("Violated Categories: %s\n", strings.Join(violatedCategories, ", "))
fmt.Printf("Explanation: %s\n", explanation)
} else {
fmt.Println("No issues detected.")
}
}
}
```
```java Java
// Категории, считающиеся небезопасными для модерации контента, с их определениями
record CategoryDefinition(String category, String definition) {}
final List unsafeCategoryDefinitions = List.of(
new CategoryDefinition(
"Child Exploitation",
"Content that depicts child nudity or that enables, encourages, excuses, or depicts the sexual abuse of children."),
new CategoryDefinition(
"Conspiracy Theories",
"""
Content that promotes or endorses unfounded, false, or misleading theories about events, situations, or individuals,
which can incite harm or undermine public trust in institutions or facts."""),
new CategoryDefinition(
"Hate",
"""
Content that is hateful toward people on the basis of their protected characteristics
(race, color, ethnicity, national origin, disability, religious affiliation, caste, sexual orientation, sex, gender identity and serious disease),
or content that perpetuates negative stereotypes."""),
new CategoryDefinition(
"Indiscriminate Weapons",
"Content that enables the creation of weapons of mass destruction."),
new CategoryDefinition(
"Intellectual Property",
"Content that violates the intellectual property rights of third parties."),
new CategoryDefinition(
"Non-Violent Crimes",
"Content that enables, encourages, or excuses the commission of non-violent crimes."),
new CategoryDefinition(
"Privacy",
"Content that contains sensitive, personal information about private individuals."),
new CategoryDefinition(
"Self-Harm",
"Content that enables, encourages, or excuses acts of intentional self-harm."),
new CategoryDefinition(
"Sex Crimes",
"Content that enables, encourages, or excuses the commission of sex crimes."),
new CategoryDefinition(
"Sexual Content",
"Content that contains erotic descriptions or explicit depictions of sex acts."),
new CategoryDefinition(
"Specialized Advice",
"""
Content that contains financial, medical, or legal advice.
Financial advice includes guidance on investments, stocks, bonds, or any financial planning."""),
new CategoryDefinition(
"Violent Crimes",
"Content that enables, encourages, or excuses the commission of violent crimes."));
record ModerationDecision(boolean violation, List violatedCategories, String explanation) {}
ModerationDecision moderateMessageWithDefinitions(
String message, List unsafeCategoryDefinitions)
throws JsonProcessingException {
// Форматируем строку небезопасных категорий: каждая категория и её определение с новой строки
String unsafeCategoryStr = unsafeCategoryDefinitions.stream()
.map(categoryDefinition ->
categoryDefinition.category() + ": " + categoryDefinition.definition())
.collect(Collectors.joining("\n"));
// Формируем подсказку для Claude, включая сообщение и небезопасные категории
String assessmentPrompt = """
Determine whether the following message warrants moderation, based on the unsafe categories outlined below.
Message:
%s
Unsafe Categories and Their Definitions:
%s
It's important that you remember all unsafe categories and their definitions.
Respond with ONLY a JSON object, using the format below:
{
"violation": ,
"categories": [Comma-separated list of violated categories],
"explanation": [Optional. Only include if there is a violation.]
}
Do not include markdown formatting or code fences in your response."""
.formatted(message, unsafeCategoryStr);
// Отправляем запрос Claude для модерации контента
Message response = client.messages().create(MessageCreateParams.builder()
.model(Model.CLAUDE_HAIKU_4_5_20251001) // Using the Haiku model for lower costs
.maxTokens(200)
.addUserMessage(assessmentPrompt)
.build());
// Разбираем JSON-ответ от Claude
String assessmentJson = response.content().stream()
.flatMap(contentBlock -> contentBlock.text().stream())
.findFirst()
.orElseThrow()
.text();
ObjectMapper mapper = new ObjectMapper();
JsonNode assessment = mapper.readTree(assessmentJson);
// Извлекаем статус нарушения из оценки
boolean containsViolation = assessment.required("violation").asBoolean();
// Если есть нарушение, получаем категории и объяснение; иначе используем пустые значения по умолчанию
List violatedCategories = containsViolation && assessment.has("categories")
? mapper.convertValue(assessment.get("categories"), new TypeReference>() {})
: List.of();
String explanation = containsViolation && assessment.hasNonNull("explanation")
? assessment.get("explanation").asText()
: null;
return new ModerationDecision(containsViolation, violatedCategories, explanation);
}
// Обрабатываем каждый комментарий и выводим результаты
void printModerationResultsWithDefinitions() throws JsonProcessingException {
for (String comment : userComments) {
IO.println("\nComment: " + comment);
ModerationDecision result = moderateMessageWithDefinitions(comment, unsafeCategoryDefinitions);
if (result.violation()) {
IO.println("Violated Categories: " + String.join(", ", result.violatedCategories()));
IO.println("Explanation: " + result.explanation());
} else {
IO.println("No issues detected.");
}
}
}
```
```php PHP
// Категории, считающиеся небезопасными для модерации контента, с их определениями
$unsafeCategoryDefinitions = [
'Child Exploitation' => 'Content that depicts child nudity or that enables, encourages, excuses, or depicts the sexual abuse of children.',
'Conspiracy Theories' => 'Content that promotes or endorses unfounded, false, or misleading theories about events, situations, or individuals,
which can incite harm or undermine public trust in institutions or facts.',
'Hate' => 'Content that is hateful toward people on the basis of their protected characteristics
(race, color, ethnicity, national origin, disability, religious affiliation, caste, sexual orientation, sex, gender identity and serious disease),
or content that perpetuates negative stereotypes.',
'Indiscriminate Weapons' => 'Content that enables the creation of weapons of mass destruction.',
'Intellectual Property' => 'Content that violates the intellectual property rights of third parties.',
'Non-Violent Crimes' => 'Content that enables, encourages, or excuses the commission of non-violent crimes.',
'Privacy' => 'Content that contains sensitive, personal information about private individuals.',
'Self-Harm' => 'Content that enables, encourages, or excuses acts of intentional self-harm.',
'Sex Crimes' => 'Content that enables, encourages, or excuses the commission of sex crimes.',
'Sexual Content' => 'Content that contains erotic descriptions or explicit depictions of sex acts.',
'Specialized Advice' => 'Content that contains financial, medical, or legal advice.
Financial advice includes guidance on investments, stocks, bonds, or any financial planning.',
'Violent Crimes' => 'Content that enables, encourages, or excuses the commission of violent crimes.',
];
$moderateMessageWithDefinitions = function (string $message, array $unsafeCategoryDefinitions) use ($client): array {
// Форматируем строку небезопасных категорий, каждая категория с определением на новой строке
$categoryLines = [];
foreach ($unsafeCategoryDefinitions as $category => $definition) {
$categoryLines[] = "{$category}: {$definition}";
}
$unsafeCategoryStr = implode("\n", $categoryLines);
// Формируем подсказку для Claude, включая сообщение и небезопасные категории
$assessmentPrompt = <<{$message}
Unsafe Categories and Their Definitions:
{$unsafeCategoryStr}
It's important that you remember all unsafe categories and their definitions.
Respond with ONLY a JSON object, using the format below:
{
"violation": ,
"categories": [Comma-separated list of violated categories],
"explanation": [Optional. Only include if there is a violation.]
}
Do not include markdown formatting or code fences in your response.
PROMPT;
// Отправляем запрос Claude для модерации контента
$response = $client->messages->create(
model: 'claude-haiku-4-5-20251001', // Using the Haiku model for lower costs
maxTokens: 200,
messages: [['role' => 'user', 'content' => $assessmentPrompt]],
);
// Разбираем JSON-ответ от Claude. SDK декодирует каждый блок содержимого
// в его конкретный класс, поэтому находим TextBlock перед чтением текста.
$textBlock = array_find($response->content, fn ($block) => $block instanceof \Anthropic\Messages\TextBlock)
?? throw new \RuntimeException('Expected a text block in the response.');
$assessment = json_decode($textBlock->text, associative: true, flags: JSON_THROW_ON_ERROR);
// Извлекаем статус нарушения из оценки
$containsViolation = $assessment['violation'];
// Если есть нарушение, получаем категории и объяснение; иначе используем пустые значения по умолчанию
$violatedCategories = $containsViolation ? ($assessment['categories'] ?? []) : [];
$explanation = $containsViolation ? ($assessment['explanation'] ?? null) : null;
return [$containsViolation, $violatedCategories, $explanation];
};
// Обрабатываем каждый комментарий и выводим результаты
foreach ($userComments as $comment) {
echo "\nComment: {$comment}\n";
[$violation, $violatedCategories, $explanation] = $moderateMessageWithDefinitions($comment, $unsafeCategoryDefinitions);
if ($violation) {
echo 'Violated Categories: ' . implode(', ', $violatedCategories) . "\n";
echo "Explanation: {$explanation}\n";
} else {
echo "No issues detected.\n";
}
}
```
```ruby Ruby
# Категории, считающиеся небезопасными для модерации контента, с их определениями
UNSAFE_CATEGORY_DEFINITIONS = {
"Child Exploitation" => "Content that depicts child nudity or that enables, encourages, excuses, or depicts the sexual abuse of children.",
"Conspiracy Theories" => "Content that promotes or endorses unfounded, false, or misleading theories about events, situations, or individuals,
which can incite harm or undermine public trust in institutions or facts.",
"Hate" => "Content that is hateful toward people on the basis of their protected characteristics
(race, color, ethnicity, national origin, disability, religious affiliation, caste, sexual orientation, sex, gender identity and serious disease),
or content that perpetuates negative stereotypes.",
"Indiscriminate Weapons" => "Content that enables the creation of weapons of mass destruction.",
"Intellectual Property" => "Content that violates the intellectual property rights of third parties.",
"Non-Violent Crimes" => "Content that enables, encourages, or excuses the commission of non-violent crimes.",
"Privacy" => "Content that contains sensitive, personal information about private individuals.",
"Self-Harm" => "Content that enables, encourages, or excuses acts of intentional self-harm.",
"Sex Crimes" => "Content that enables, encourages, or excuses the commission of sex crimes.",
"Sexual Content" => "Content that contains erotic descriptions or explicit depictions of sex acts.",
"Specialized Advice" => "Content that contains financial, medical, or legal advice.
Financial advice includes guidance on investments, stocks, bonds, or any financial planning.",
"Violent Crimes" => "Content that enables, encourages, or excuses the commission of violent crimes."
}
def moderate_message_with_definitions(message, unsafe_category_definitions)
# Форматируем строку небезопасных категорий: каждая категория и её определение на новой строке
unsafe_category_str = unsafe_category_definitions
.map { |category, definition| "#{category}: #{definition}" }
.join("\n")
# Формируем подсказку для Claude, включая сообщение и небезопасные категории
assessment_prompt = <<~PROMPT.chomp
Determine whether the following message warrants moderation, based on the unsafe categories outlined below.
Message:
#{message}
Unsafe Categories and Their Definitions:
#{unsafe_category_str}
It's important that you remember all unsafe categories and their definitions.
Respond with ONLY a JSON object, using the format below:
{
"violation": ,
"categories": [Comma-separated list of violated categories],
"explanation": [Optional. Only include if there is a violation.]
}
Do not include markdown formatting or code fences in your response.
PROMPT
# Отправляем запрос Claude для модерации контента
response = CLIENT.messages.create(
model: "claude-haiku-4-5-20251001", # Using the Haiku model for lower costs
max_tokens: 200,
messages: [{role: :user, content: assessment_prompt}]
)
# Разбираем JSON-ответ от Claude
text_block = response.content.find { it.type == :text }
assessment = JSON.parse(text_block.text)
# Извлекаем статус нарушения из оценки
contains_violation = assessment["violation"]
# Если есть нарушение, получаем категории и объяснение; иначе используем пустые значения по умолчанию
violated_categories = contains_violation ? assessment.fetch("categories", []) : []
explanation = contains_violation ? assessment["explanation"] : nil
[contains_violation, violated_categories, explanation]
end
# Обрабатываем каждый комментарий и выводим результаты
USER_COMMENTS.each do |comment|
puts "\nComment: #{comment}"
violation, violated_categories, explanation = moderate_message_with_definitions(comment, UNSAFE_CATEGORY_DEFINITIONS)
if violation
puts "Violated Categories: #{violated_categories.join(", ")}"
puts "Explanation: #{explanation}"
else
puts "No issues detected."
end
end
```
Функция `moderate_message_with_definitions` расширяет предыдущую функцию `moderate_message`, позволяя сопоставить каждой небезопасной категории подробное определение. В коде это достигается заменой коллекции `unsafe_categories` из исходной функции на отображение `unsafe_category_definitions`. Это отображение сопоставляет каждую небезопасную категорию с соответствующим определением. В подсказку включаются как названия категорий, так и их определения.
Примечательно, что определение категории `Specialized Advice` теперь указывает типы финансовых советов, которые должны быть запрещены. В результате комментарий `It is a great time to invest in gold!`, который ранее проходил оценку `moderate_message`, теперь вызывает нарушение.
### Рассмотрите пакетную обработку
Чтобы снизить затраты в ситуациях, когда модерация в реальном времени не требуется, рассмотрите «batch processing» (пакетную обработку) — модерацию сообщений пакетами. Включите несколько сообщений в контекст подсказки и попросите Claude оценить, какие сообщения следует модерировать.
```python Python
def batch_moderate_messages(messages, unsafe_categories):
# Преобразуем небезопасные категории в строку, каждая категория с новой строки
unsafe_category_str = "\n".join(unsafe_categories)
# Форматируем строку сообщений: каждое сообщение обёрнуто в XML-подобные теги и имеет ID
messages_str = "\n".join(
[f"{msg}" for idx, msg in enumerate(messages)]
)
# Формируем подсказку для Claude, включая сообщения и небезопасные категории
assessment_prompt = f"""Determine the messages to moderate, based on the unsafe categories outlined below.
Messages:
{messages_str}
Unsafe Categories:
{unsafe_category_str}
Respond with ONLY a JSON object, using the format below:
{{
"violations": [
{{
"id": ,
"categories": [list of violated categories],
"explanation":
}}
]
}}
Important Notes:
- Remember to analyze every message for a violation.
- Select any number of violations that reasonably apply.
- Do not include markdown formatting or code fences in your response."""
# Отправляем запрос Claude для модерации контента
response = client.messages.create(
model="claude-haiku-4-5-20251001", # Using the Haiku model for lower costs
max_tokens=2048, # Increased max token count to handle batches
messages=[{"role": "user", "content": assessment_prompt}],
)
# Разбираем JSON-ответ от Claude
text_block = next(block for block in response.content if block.type == "text")
assessment = json.loads(text_block.text)
return assessment
# Обрабатываем пакет комментариев и получаем ответ
response_obj = batch_moderate_messages(user_comments, unsafe_categories)
# Выводим результаты для каждого обнаруженного нарушения
for violation in response_obj["violations"]:
print(f"""Comment: {user_comments[violation["id"]]}
Violated Categories: {", ".join(violation["categories"])}
Explanation: {violation["explanation"]}
""")
```
```typescript TypeScript
// Структура пакетной JSON-оценки, которую возвращает Claude
interface BatchAssessment {
violations: {
id: number;
categories: string[];
explanation: string;
}[];
}
async function batchModerateMessages(
messages: string[],
unsafeCategories: string[]
): Promise {
// Преобразуем небезопасные категории в строку, каждая категория с новой строки
const unsafeCategoryStr = unsafeCategories.join("\n");
// Форматируем строку сообщений: каждое сообщение обёрнуто в XML-подобные теги и имеет ID
const messagesStr = messages
.map((msg, idx) => `${msg}`)
.join("\n");
// Формируем подсказку для Claude, включая сообщения и небезопасные категории
const assessmentPrompt = `Determine the messages to moderate, based on the unsafe categories outlined below.
Messages:
${messagesStr}
Unsafe Categories:
${unsafeCategoryStr}
Respond with ONLY a JSON object, using the format below:
{
"violations": [
{
"id": ,
"categories": [list of violated categories],
"explanation":
}
]
}
Important Notes:
- Remember to analyze every message for a violation.
- Select any number of violations that reasonably apply.
- Do not include markdown formatting or code fences in your response.`;
// Отправляем запрос Claude для модерации контента
const response = await client.messages.create({
model: "claude-haiku-4-5-20251001", // Using the Haiku model for lower costs
max_tokens: 2048, // Increased max token count to handle batches
messages: [{ role: "user", content: assessmentPrompt }]
});
// Разбираем JSON-ответ от Claude
const textBlock = response.content.find((block) => block.type === "text");
if (!textBlock) {
throw new Error("Expected a text block in the response");
}
const assessment: BatchAssessment = JSON.parse(textBlock.text);
return assessment;
}
// Обрабатываем пакет комментариев и получаем ответ
const batchAssessment = await batchModerateMessages(userComments, unsafeCategories);
// Выводим результаты для каждого обнаруженного нарушения
for (const violation of batchAssessment.violations) {
console.log(`Comment: ${userComments[violation.id]}
Violated Categories: ${violation.categories.join(", ")}
Explanation: ${violation.explanation}
`);
}
```
```csharp C#
async Task BatchModerateMessages(IReadOnlyList messages, IReadOnlyList categories)
{
// Преобразуем небезопасные категории в строку, каждая категория с новой строки
var unsafeCategoryText = string.Join("\n", categories);
// Форматируем строку сообщений: каждое сообщение обёрнуто в XML-подобные теги и имеет ID
var messagesText = string.Join(
"\n",
messages.Select((message, index) => $"{message}")
);
// Формируем подсказку для Claude, включая сообщения и небезопасные категории
var assessmentPrompt = $$"""
Determine the messages to moderate, based on the unsafe categories outlined below.
Messages:
{{messagesText}}
Unsafe Categories:
{{unsafeCategoryText}}
Respond with ONLY a JSON object, using the format below:
{
"violations": [
{
"id": ,
"categories": [list of violated categories],
"explanation":
}
]
}
Important Notes:
- Remember to analyze every message for a violation.
- Select any number of violations that reasonably apply.
- Do not include markdown formatting or code fences in your response.
""";
// Отправляем запрос Claude для модерации контента
var response = await client.Messages.Create(
new()
{
Model = Model.ClaudeHaiku4_5_20251001, // Using the Haiku model for lower costs
MaxTokens = 2048, // Increased max token count to handle batches
Messages = [new() { Role = Role.User, Content = assessmentPrompt }],
}
);
// Сужаем первый блок содержимого до текстового блока, затем разбираем JSON-ответ Claude
if (!response.Content[0].TryPickText(out var textBlock))
{
throw new InvalidOperationException("Expected a text response from Claude.");
}
return JsonNode.Parse(textBlock.Text)!;
}
// Обрабатываем пакет комментариев и получаем ответ
var moderationResults = await BatchModerateMessages(userComments, unsafeCategories);
// Выводим результаты для каждого обнаруженного нарушения
foreach (var violation in moderationResults["violations"]!.AsArray())
{
var flaggedComment = userComments[violation!["id"]!.GetValue()];
var violatedCategories = string.Join(
", ",
violation["categories"]!.AsArray().Select(category => category!.GetValue())
);
var explanation = violation["explanation"]!.GetValue();
Console.WriteLine($"""
Comment: {flaggedComment}
Violated Categories: {violatedCategories}
Explanation: {explanation}
""");
}
```
```go Go
// batchViolation — один элемент массива "violations" от Claude: индекс
// нарушающего сообщения, а также нарушенные категории и причина.
type batchViolation struct {
ID int `json:"id"`
Categories []string `json:"categories"`
Explanation string `json:"explanation"`
}
func batchModerateMessages(messages []string, unsafeCategories []string) []batchViolation {
// Преобразуем небезопасные категории в строку, каждая категория с новой строки
unsafeCategoryStr := strings.Join(unsafeCategories, "\n")
// Форматируем строку сообщений: каждое сообщение обёрнуто в XML-подобные теги и имеет ID
messageLines := make([]string, len(messages))
for i, message := range messages {
messageLines[i] = fmt.Sprintf("%s", i, message)
}
messagesStr := strings.Join(messageLines, "\n")
// Формируем подсказку для Claude, включая сообщения и небезопасные категории
assessmentPrompt := fmt.Sprintf(`Determine the messages to moderate, based on the unsafe categories outlined below.
Messages:
%s
Unsafe Categories:
%s
Respond with ONLY a JSON object, using the format below:
{
"violations": [
{
"id": ,
"categories": [list of violated categories],
"explanation":
}
]
}
Important Notes:
- Remember to analyze every message for a violation.
- Select any number of violations that reasonably apply.
- Do not include markdown formatting or code fences in your response.`, messagesStr, unsafeCategoryStr)
// Отправляем запрос к Claude для модерации контента
response, err := client.Messages.New(context.Background(), anthropic.MessageNewParams{
Model: anthropic.ModelClaudeHaiku4_5_20251001, // Using the Haiku model for lower costs
MaxTokens: 2048, // Increased max token count to handle batches
Messages: []anthropic.MessageParam{
anthropic.NewUserMessage(anthropic.NewTextBlock(assessmentPrompt)),
},
})
if err != nil {
log.Fatal(err)
}
// Сужаем первый блок содержимого до текстового блока перед чтением его текста
textBlock, ok := response.Content[0].AsAny().(anthropic.TextBlock)
if !ok {
log.Fatalf("expected a text block, got %q", response.Content[0].Type)
}
// Разбираем JSON-ответ от Claude
var assessment struct {
Violations []batchViolation `json:"violations"`
}
if err := json.Unmarshal([]byte(textBlock.Text), &assessment); err != nil {
log.Fatal(err)
}
return assessment.Violations
}
// moderateAllCommentsAsBatch модерирует весь пакет комментариев одним
// запросом и выводит результаты для каждого обнаруженного нарушения.
func moderateAllCommentsAsBatch() {
// Обрабатываем пакет комментариев и получаем ответ
violations := batchModerateMessages(userComments, unsafeCategories)
// Выводим результаты для каждого обнаруженного нарушения
for _, violation := range violations {
fmt.Printf(`Comment: %s
Violated Categories: %s
Explanation: %s
`, userComments[violation.ID], strings.Join(violation.Categories, ", "), violation.Explanation)
}
}
```
```java Java
JsonNode batchModerateMessages(List messages, List unsafeCategories)
throws JsonProcessingException {
// Преобразуем небезопасные категории в строку, каждая категория с новой строки
String unsafeCategoryStr = String.join("\n", unsafeCategories);
// Форматируем строку сообщений: каждое сообщение обёрнуто в XML-подобные теги и имеет ID
String messagesStr = IntStream.range(0, messages.size())
.mapToObj(idx -> "%s".formatted(idx, messages.get(idx)))
.collect(Collectors.joining("\n"));
// Формируем подсказку для Claude, включая сообщения и небезопасные категории
String assessmentPrompt = """
Determine the messages to moderate, based on the unsafe categories outlined below.
Messages:
%s
Unsafe Categories:
%s
Respond with ONLY a JSON object, using the format below:
{
"violations": [
{
"id": ,
"categories": [list of violated categories],
"explanation":
}
]
}
Important Notes:
- Remember to analyze every message for a violation.
- Select any number of violations that reasonably apply.
- Do not include markdown formatting or code fences in your response."""
.formatted(messagesStr, unsafeCategoryStr);
// Отправляем запрос Claude для модерации контента
Message response = client.messages().create(MessageCreateParams.builder()
.model(Model.CLAUDE_HAIKU_4_5_20251001) // Using the Haiku model for lower costs
.maxTokens(2048) // Increased max token count to handle batches
.addUserMessage(assessmentPrompt)
.build());
// Разбираем JSON-ответ от Claude
String assessmentJson = response.content().stream()
.flatMap(contentBlock -> contentBlock.text().stream())
.findFirst()
.orElseThrow()
.text();
return new ObjectMapper().readTree(assessmentJson);
}
// Обрабатываем пакет комментариев и выводим результаты для каждого обнаруженного нарушения
void printBatchViolations() throws JsonProcessingException {
JsonNode response = batchModerateMessages(userComments, unsafeCategories);
ObjectMapper mapper = new ObjectMapper();
for (JsonNode violation : response.required("violations")) {
List violatedCategories =
mapper.convertValue(violation.required("categories"), new TypeReference>() {});
IO.println("""
Comment: %s
Violated Categories: %s
Explanation: %s
""".formatted(
userComments.get(violation.required("id").asInt()),
String.join(", ", violatedCategories),
violation.required("explanation").asText()));
}
}
```
```php PHP
$batchModerateMessages = function (array $messages, array $unsafeCategories) use ($client): array {
// Преобразуем небезопасные категории в строку, каждая категория с новой строки
$unsafeCategoryStr = implode("\n", $unsafeCategories);
// Форматируем строку сообщений: каждое сообщение обёрнуто в XML-подобные теги и имеет ID
$messageLines = [];
foreach ($messages as $idx => $msg) {
$messageLines[] = "{$msg}";
}
$messagesStr = implode("\n", $messageLines);
// Формируем подсказку для Claude, включая сообщения и небезопасные категории
$assessmentPrompt = <<
{$messagesStr}
Unsafe Categories:
{$unsafeCategoryStr}
Respond with ONLY a JSON object, using the format below:
{
"violations": [
{
"id": ,
"categories": [list of violated categories],
"explanation":
}
]
}
Important Notes:
- Remember to analyze every message for a violation.
- Select any number of violations that reasonably apply.
- Do not include markdown formatting or code fences in your response.
PROMPT;
// Отправляем запрос Claude для модерации контента
$response = $client->messages->create(
model: 'claude-haiku-4-5-20251001', // Using the Haiku model for lower costs
maxTokens: 2048, // Increased max token count to handle batches
messages: [['role' => 'user', 'content' => $assessmentPrompt]],
);
// Разбираем JSON-ответ от Claude. SDK декодирует каждый блок содержимого
// в его конкретный класс, поэтому находим TextBlock перед чтением текста.
$textBlock = array_find($response->content, fn ($block) => $block instanceof \Anthropic\Messages\TextBlock)
?? throw new \RuntimeException('Expected a text block in the response.');
return json_decode($textBlock->text, associative: true, flags: JSON_THROW_ON_ERROR);
};
// Обрабатываем пакет комментариев и получаем ответ
$responseObj = $batchModerateMessages($userComments, $unsafeCategories);
// Выводим результаты для каждого обнаруженного нарушения
foreach ($responseObj['violations'] as $violation) {
echo "Comment: {$userComments[$violation['id']]}\n";
echo 'Violated Categories: ' . implode(', ', $violation['categories']) . "\n";
echo "Explanation: {$violation['explanation']}\n\n";
}
```
```ruby Ruby
def batch_moderate_messages(messages, unsafe_categories)
# Преобразуем небезопасные категории в строку, каждая категория на новой строке
unsafe_category_str = unsafe_categories.join("\n")
# Форматируем строку сообщений: каждое сообщение обёрнуто в XML-подобные теги и имеет ID
messages_str = messages
.map.with_index { |message, index| "#{message}" }
.join("\n")
# Формируем подсказку для Claude, включая сообщения и небезопасные категории
assessment_prompt = <<~PROMPT.chomp
Determine the messages to moderate, based on the unsafe categories outlined below.
Messages:
#{messages_str}
Unsafe Categories:
#{unsafe_category_str}
Respond with ONLY a JSON object, using the format below:
{
"violations": [
{
"id": ,
"categories": [list of violated categories],
"explanation":
}
]
}
Important Notes:
- Remember to analyze every message for a violation.
- Select any number of violations that reasonably apply.
- Do not include markdown formatting or code fences in your response.
PROMPT
# Отправляем запрос Claude для модерации контента
response = CLIENT.messages.create(
model: "claude-haiku-4-5-20251001", # Using the Haiku model for lower costs
max_tokens: 2048, # Increased max token count to handle batches
messages: [{role: :user, content: assessment_prompt}]
)
# Разбираем JSON-ответ от Claude
text_block = response.content.find { it.type == :text }
JSON.parse(text_block.text)
end
# Обрабатываем пакет комментариев и получаем ответ
response_obj = batch_moderate_messages(USER_COMMENTS, UNSAFE_CATEGORIES)
# Выводим результаты для каждого обнаруженного нарушения
response_obj["violations"].each do |violation|
puts <<~RESULT
Comment: #{USER_COMMENTS[violation["id"]]}
Violated Categories: #{violation["categories"].join(", ")}
Explanation: #{violation["explanation"]}
RESULT
end
```
В этом примере функция `batch_moderate_messages` выполняет модерацию целого пакета сообщений за один вызов Claude API. Внутри функции создаётся подсказка, включающая список сообщений для оценки и категории небезопасного контента. Подсказка предписывает Claude вернуть JSON-объект со списком всех сообщений, содержащих нарушения. Каждое сообщение в ответе идентифицируется по своему `id`, который соответствует позиции сообщения в пакете. Имейте в виду, что поиск оптимального размера пакета для ваших конкретных потребностей может потребовать некоторых экспериментов. Хотя большие размеры пакетов могут снизить затраты, они также могут привести к небольшому снижению качества. Кроме того, вам может потребоваться увеличить параметр `max_tokens` в вызове Claude API, чтобы вместить более длинные ответы. Подробную информацию о максимальном количестве токенов, которое может выдать выбранная вами модель, см. в [сравнительной таблице моделей](https://platform.claude.com/docs/ru/models/overview#latest-models-comparison).
Посмотрите полностью реализованный пример кода, показывающий, как использовать Claude для модерации контента.
Изучите методы защитных ограничений для модерации взаимодействий с Claude.