From 4867f38fdc492e633834eadb737e05e7590734db Mon Sep 17 00:00:00 2001 From: Wataru Otsubo Date: Tue, 21 Jan 2025 20:50:20 +0900 Subject: [PATCH] update(notebook): skew_stats with temporarily treatment for psbid 1563 --- examples/clock_skew_stats.svg | 2139 +++++++++-------- .../psboard_clock_rise_span_histogram.svg | 649 +++-- examples/psboard_clock_turnoncurve.svg | 1147 +++++---- examples/psboard_skew_histogram.svg | 318 +-- examples/skew_stats.jl | 30 +- 5 files changed, 2250 insertions(+), 2033 deletions(-) diff --git a/examples/clock_skew_stats.svg b/examples/clock_skew_stats.svg index f9152ab..13c9a74 100644 --- a/examples/clock_skew_stats.svg +++ b/examples/clock_skew_stats.svg @@ -2,581 +2,593 @@ - + - + - + - + - + - + - + - - - - + - + + + + - - - - - - - + - + + + + + + + - + - + - + - + - - - - + - + - + - + - + - + - + + + + - + - + - + - + - - - - - - - - - - - - - + - - + + - - + + - + - + + + + + + + + + + + + + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - - - - - - - - - - - - - - - - - - - - - - - - - - - - + - - - - - - - - - - + - + - - - - + - + - + - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - + - - - - - - - - - - + - - + + - - - - + - + + + + + + + + + + + + + - - - - - - - - - - - - - + - - - - + - + - - - - - - - + - - - - + - - - - + - - - - - - - - - - - - - - - - + - + - - - - - - - + - - + + - - + + - + + + + - - - - - - - - - - - - - + - - - - - - - + - - + + - - - - + - - - - - - - - - - - - - + - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - - - + - - - - - - - + - - - - - - - - - - - - - - - - + - - - - + - + + + + + + + + + + + + + + + + - - + + - + + + + + + + - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + @@ -591,289 +603,289 @@ - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - - + + - + - + - + - + - + @@ -884,30 +896,37 @@ - + - - + + - - - + + + - + - + + + + + + + + @@ -916,9 +935,9 @@ - - - + + + @@ -938,49 +957,52 @@ + + - + + - - + + - - + + - + - + - + - - - - - + + + + + - - + + - + @@ -989,1519 +1011,1700 @@ - - + + + + + + + + + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + diff --git a/examples/psboard_clock_rise_span_histogram.svg b/examples/psboard_clock_rise_span_histogram.svg index ed64d39..3c32066 100644 --- a/examples/psboard_clock_rise_span_histogram.svg +++ b/examples/psboard_clock_rise_span_histogram.svg @@ -2,368 +2,359 @@ - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - - - - + - - - - + - + + + + - + - - - - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - - + + - - - - - - - - - - - - - - - - - - - - - - - - - + - - + + - - + + - + - + + + + + + + + + + - + - + + + + - + + + + + + + + + + - + - + - + - + - - - - + - - - - - - - - - + - + + + + + + + + + + + + - + - + - + - + - + - + - + - + - + - + @@ -383,410 +374,390 @@ - - - - + + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - - - - - - - - - - - - - - - - - - - - - + + + - - - - + + + + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + @@ -802,88 +773,86 @@ - - - - + + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + diff --git a/examples/psboard_clock_turnoncurve.svg b/examples/psboard_clock_turnoncurve.svg index 5e78e51..cad531c 100644 --- a/examples/psboard_clock_turnoncurve.svg +++ b/examples/psboard_clock_turnoncurve.svg @@ -2,420 +2,408 @@ - + - + - + - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - + - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - + - - + + - - + + - + + + + - + - + + - - + + - + + + + + + + + + + + + + + + - - + + - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - + - - + + - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - + + + + + + + + + + + + + + + + + - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - + - + - - - - + - + - + - + - + - + - + - - - - + - + - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - + + + + @@ -427,313 +415,367 @@ - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - + - + - + - + - + - + - + - + - + - + - + - + @@ -743,19 +785,19 @@ - + - + - + - + - + @@ -765,16 +807,16 @@ - + - + - + - + @@ -784,21 +826,21 @@ - + - + - + - + - + @@ -816,68 +858,6 @@ - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - @@ -886,137 +866,140 @@ - - - - - - + + + + + + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + + + + diff --git a/examples/psboard_skew_histogram.svg b/examples/psboard_skew_histogram.svg index dbfd385..d0c154a 100644 --- a/examples/psboard_skew_histogram.svg +++ b/examples/psboard_skew_histogram.svg @@ -2,128 +2,146 @@ - + - + - + - + - + - + - + - + - + - + - + - + - + - - - - - - - - - - - - - - - - - - - - - - - - - - - + - - - - - - - - - - - - - - - - - - - - - - + - + + - + - + - - - - - - - - - - - + - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - + + - + + - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + @@ -134,158 +152,190 @@ - - + + + + + + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + + + + + + + + + + + + + + + + + + + + + + + + + - - + + + + + + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + - + diff --git a/examples/skew_stats.jl b/examples/skew_stats.jl index ee6a1be..682cdb2 100644 --- a/examples/skew_stats.jl +++ b/examples/skew_stats.jl @@ -1,5 +1,5 @@ ### A Pluto.jl notebook ### -# v0.20.2 +# v0.20.4 using Markdown using InteractiveUtils @@ -307,6 +307,9 @@ end) # ╔═╡ 25688d24-5aee-43d3-aff9-b9efa0556070 combine(nrow, gdf_skews_on_psbid) +# ╔═╡ 0d3f7f0a-1713-4e22-acbb-7d370fabf5a7 +combine(gdf_skews_on_psbid, :skew => (v -> all(ismissing, v)) => :hasmissing) |> (df -> sort(df, :hasmissing, rev = true)) + # ╔═╡ 239a808c-0411-4542-ae68-6ae6af333bd2 df_nrow_ordered = let df = combine(nrow, gdf_skews_on_psbid) @@ -489,8 +492,13 @@ df_skews_selected = let df gdf_skews_on_psbid, sdf -> begin all(ismissing, sdf.skew) && @info "" sdf + # TODO: update + if sdf.psbid[1] == 1563 + () + end if nrow(sdf) == 1 - @assert sdf.skew |> first |> !ismissing + # TODO: remove 1563 bypass + sdf.psbid[1] == 1563 || @assert sdf.skew |> first |> !ismissing sdf ( skew = sdf.skew |> first, width = sdf.width |> first, @@ -748,7 +756,7 @@ let ax1, 0:1:2, sdf.skew, - color = Makie.wong_colors()[sdf.campaign_id[1]], + color = Makie.wong_colors()[sdf.campaign_id[1] |> Int64], alpha = 0.7, ) scatter!( @@ -756,7 +764,7 @@ let sdf.campaign_id[1], mean(@view(sdf.skew[2:3])) - sdf.skew[1], marker = :x, - color = Makie.wong_colors()[sdf.campaign_id[1]], + color = Makie.wong_colors()[sdf.campaign_id[1] |> Int64], alpha = 0.7, ) errorbars!( @@ -764,7 +772,7 @@ let [sdf.campaign_id[1]], [mean(@view(sdf.skew[2:3])) - sdf.skew[1]], [std(@view(sdf.skew[2:3]))], - color = Makie.wong_colors()[sdf.campaign_id[1]], + color = Makie.wong_colors()[sdf.campaign_id[1] |> Int64], alpha = 0.4, whiskerwidth = 5, ) @@ -785,7 +793,7 @@ let align = (:left, :center), ) end - campaigns = df_compare.campaign_id |> unique |> sort! + campaigns = df_compare.campaign_id |> unique |> sort! .|> Int64 Legend( grd1[2, 1], [ @@ -860,7 +868,7 @@ md""" """ # ╔═╡ 2a24c277-6679-49f3-b387-6937b7661a25 -invalid_measurements = [215, 291, 442, 460, 462, 545, 799, 802, 444, 255, 435, 1213, 1215] +invalid_measurements = [215, 291, 442, 460, 462, 545, 799, 802, 444, 255, 435, 1213, 1215, #= TODO: remove =# 1563] # ╔═╡ 13b4112f-96ab-41a1-8ef1-d940771f6ece df_skews_selected_valids = let @@ -949,7 +957,7 @@ let push!(hists, Hist1D(gdf.skew, binedges = bins)) end sh1 = stackedhist!(ax, hists, error_color = Pattern('/')) - labels = ["campaign $i" for i in 1:6] + labels = ["campaign $i" for i in 1:7] elements = [PolyElement(polycolor = sh1.attributes.color[][i]) for i in 1:length(labels)] Legend( @@ -1040,7 +1048,10 @@ let text!(ax, [(293 + 304) / 2, (305 + 329) / 2], [-1, -1], text = ["11-11", "11-12"]) end - df_highlighted = filter(:psbid => in([973, 990, 992, 1030, 1050, 1053, 1110, 1113, 1121, 1141, 1142]), df_skews_selected_valids) + df_highlighted = filter( + :psbid => in([973, 990, 992, 1030, 1050, 1053, 1110, 1113, 1121, 1141, 1142]), + df_skews_selected_valids, + ) @info "" df_highlighted scatter!( ax, @@ -1304,6 +1315,7 @@ end # ╟─2d41c98b-630e-41e7-9332-25394a6285e8 # ╠═6ff9f397-5db9-45af-9bca-7a8d7756f8da # ╠═25688d24-5aee-43d3-aff9-b9efa0556070 +# ╠═0d3f7f0a-1713-4e22-acbb-7d370fabf5a7 # ╠═239a808c-0411-4542-ae68-6ae6af333bd2 # ╠═8e57bde1-5f97-483d-906e-8ebfb65016d0 # ╠═92c2ac3f-8034-4e9e-aadb-8bb166fbc948