
TEST EXECUTION REPORT
=====================
Date: 2025-04-07 18:31:01

Summary:
- Total Tests: 104
- Passed: 50 (48.1%)
- Failed: 5 (4.8%)
- Errors: 49 (47.1%)

Detailed Test Results:
╒═════════════════════════════════════════════════════════════════════════════════╤═════════╤══════════╤══════════╤══════════╤══════════╕
│ Test Module                                                                     │   Tests │   Passed │   Failed │   Errors │  Status  │
╞═════════════════════════════════════════════════════════════════════════════════╪═════════╪══════════╪══════════╪══════════╪══════════╡
│ tests/examples/all_llm_provider/test_all_llm_provider.py                        │      10 │       10 │        0 │        0 │    ✅    │
├─────────────────────────────────────────────────────────────────────────────────┼─────────┼──────────┼──────────┼──────────┼──────────┤
│ tests/examples/crewai/scifi_writer/test_scifi_writer.py                         │       1 │        1 │        0 │        0 │    ✅    │
├─────────────────────────────────────────────────────────────────────────────────┼─────────┼──────────┼──────────┼──────────┼──────────┤
│ tests/examples/custom_agents/travel_agent/test_travel_agent.py                  │       1 │        1 │        0 │        0 │    ✅    │
├─────────────────────────────────────────────────────────────────────────────────┼─────────┼──────────┼──────────┼──────────┼──────────┤
│ tests/examples/haystack/news_fetching/test_news_fetching.py                     │       1 │        1 │        0 │        0 │    ✅    │
├─────────────────────────────────────────────────────────────────────────────────┼─────────┼──────────┼──────────┼──────────┼──────────┤
│ tests/examples/langchain/medical_rag/test_diagnosis_agent.py                    │       1 │        1 │        0 │        0 │    ✅    │
├─────────────────────────────────────────────────────────────────────────────────┼─────────┼──────────┼──────────┼──────────┼──────────┤
│ tests/examples/langgraph/personal_research_assistant/test_research_assistant.py │       1 │        1 │        0 │        0 │    ✅    │
├─────────────────────────────────────────────────────────────────────────────────┼─────────┼──────────┼──────────┼──────────┼──────────┤
│ tests/examples/llamaindex_examples/legal_research_rag/test_legal_rag.py         │       1 │        1 │        0 │        0 │    ✅    │
├─────────────────────────────────────────────────────────────────────────────────┼─────────┼──────────┼──────────┼──────────┼──────────┤
│ tests/examples/smolagents/most_upvoted_paper/test_most_upvoted_paper.py         │       1 │        1 │        0 │        0 │    ✅    │
├─────────────────────────────────────────────────────────────────────────────────┼─────────┼──────────┼──────────┼──────────┼──────────┤
│ tests/test_catalyst/test_files/test_base_tracer_add_metrics.py                  │       8 │        8 │        0 │        0 │    ✅    │
├─────────────────────────────────────────────────────────────────────────────────┼─────────┼──────────┼──────────┼──────────┼──────────┤
│ tests/test_catalyst/test_files/test_base_tracer_metrics.py                      │       5 │        5 │        0 │        0 │    ✅    │
├─────────────────────────────────────────────────────────────────────────────────┼─────────┼──────────┼──────────┼──────────┼──────────┤
│ tests/test_catalyst/test_files/test_configuration.py                            │      14 │       12 │        2 │        0 │    ❌    │
├─────────────────────────────────────────────────────────────────────────────────┼─────────┼──────────┼──────────┼──────────┼──────────┤
│ tests/test_catalyst/test_files/test_dataset.py                                  │      10 │        0 │        0 │       10 │    💥    │
├─────────────────────────────────────────────────────────────────────────────────┼─────────┼──────────┼──────────┼──────────┼──────────┤
│ tests/test_catalyst/test_files/test_evaluation.py                               │      22 │        0 │        2 │       20 │    💥    │
├─────────────────────────────────────────────────────────────────────────────────┼─────────┼──────────┼──────────┼──────────┼──────────┤
│ tests/test_catalyst/test_files/test_evaluation_metrics.py                       │       8 │        8 │        0 │        0 │    ✅    │
├─────────────────────────────────────────────────────────────────────────────────┼─────────┼──────────┼──────────┼──────────┼──────────┤
│ tests/test_catalyst/test_files/test_langchain_tracing.py                        │      10 │        0 │        0 │       10 │    💥    │
├─────────────────────────────────────────────────────────────────────────────────┼─────────┼──────────┼──────────┼──────────┼──────────┤
│ tests/test_catalyst/test_files/test_prompt_manager.py                           │       7 │        0 │        0 │        7 │    💥    │
├─────────────────────────────────────────────────────────────────────────────────┼─────────┼──────────┼──────────┼──────────┼──────────┤
│ tests/test_catalyst/test_files/test_redteaming.py                               │       3 │        0 │        1 │        2 │    💥    │
╘═════════════════════════════════════════════════════════════════════════════════╧═════════╧══════════╧══════════╧══════════╧══════════╛

Problematic Tests:
- tests/test_catalyst/test_files/test_configuration.py: 2 failed
- tests/test_catalyst/test_files/test_dataset.py: 10 errors
- tests/test_catalyst/test_files/test_evaluation.py: 2 failed, 20 errors
- tests/test_catalyst/test_files/test_langchain_tracing.py: 10 errors
- tests/test_catalyst/test_files/test_prompt_manager.py: 7 errors
- tests/test_catalyst/test_files/test_redteaming.py: 1 failed, 2 errors
--------------------------------------------------
  (Investigation needed - check test logs for specific issues)
--------------------------------------------------