submissions と language_count のデータに不整合がある

[n4o847]

概要

User Submissions API (/v3/user/submissions) と、Accepted Count for each language (/v3/language_ranking, /v3/user/language_rank) とで得られるデータに不整合があります。

再現方法

提出者が少ない Brainfuck という言語で確認したところ、これが生じるユーザが何人かいました。

考えられる原因

見たところ、ユーザ名を変更したりアカウントを消したりしたユーザの情報がデータベースの language_count テーブルに残ってしまっていることが原因のように思います。

重要性

• 言語別 AC 数ランキングが通常 20 人までしか見られないこと
• ユーザ名を変更したりアカウントを消したりするユーザは少ないので順位に大して変動がないこと

から、重要性は低いと思います。ランキング上位の人がユーザ名を変更したりアカウントを消したりしたら影響はあると思います。

[hotate29]

これやりたいです。

とりあえずの方針として

• LanguageCountClientに記録を削除する処理を追加する
• 存在しないユーザーの記録を削除する処理をバッチ処理に追加
  というのを考えています。

ところで、これってlanguage_countだけの問題なのでしょうか？accepted_countやrated_point_sumなど他のテーブルでも起こっていそうです。

[hotate29]

アカウントを削除（もしくはユーザー名を変更した）と思われるユーザー（rabbitfoot）を見つけたので、他のエンドポイントでも試してみました。

試したところ、

• /v3/user_info
• /v3/user/ac_rank
• /v3/user/streak_rank

で不整合が起こっているのが確認できました。

/v3/user/rated_point_sum_rankでは不整合は確認できませんでした（なんでだろう）

[kenkoooo]

更新する前に既存のデータを全削除する操作が入っていたりいなかったりしますかね？（未確認）

[hotate29]

全削除らしき処理は入っていないように見えました。

アカウントを削除した （=/v3/user/submissionsが取得できない） 別のユーザー（shojin_pro）で試したところ、/v3/user/rated_point_sum_rankで不整合がなデータが返されたので、rated_point_sumでも不整合が起こっているようです。rabbitfootで起こらなかった理由はわかりませんが...

[hotate29]

仕様を勘違いしていました（アカウントを削除したユーザーの提出はsubmissionsから消滅すると思っていた）。
前述の方針だとこの問題は解決できなくて、ユーザーがアカウントを削除したかどうかをAtCoderからクロールする必要がありそうです。

[kenkoooo]

ランキング上位のユーザーがアカウントを消すことは多くなさそう && 消えたユーザーが上位にいても別に困らなそうなので、いったん放置で良さそうです。

[hotate29]

アカウントを削除したユーザーについては一旦放置でもよさそうですが、
名前を変更したユーザーへの対応は#1327 だけでできそうです（名前の変更はsubmissionsテーブルに反映されるので）。後者の対応が容易というだけで、ランキングに多少のゴミが残るのを許容するのなら両方放置で良いと思います。