해싱

해싱, 어렵지 않아요 데이터에 찍는 '지문' 만들기, 처음부터

1. 해싱이 대체 뭐예요?

해싱(Hashing)은 아무 크기·형식의 데이터든 해시 함수(hash function)라는 수학 알고리즘에 집어넣어, 정해진 길이의 문자열 하나로 바꾸는 과정이에요. 이렇게 나온 값을 해시값이라고 불러요. 신기한 건, 짧은 문장 한 줄을 넣든 수백 메가바이트짜리 파일을 넣든 결과로 나오는 값의 길이는 항상 똑같다는 점이에요. 이 값은 상황에 따라 해시값, 해시 코드, 해시 체크섬 같은 여러 이름으로 불려요.

해싱을 쓰는 목적은 크게 두 갈래예요. 하나는 데이터를 빠르게 저장하고 찾기 위한 자료구조로서의 쓰임이고, 다른 하나는 데이터가 몰래 바뀌거나 위조되지 않았음을 증명하는 암호학적 쓰임이에요.

특히 두 번째 성질 덕분에 해시값은 데이터의 지문(fingerprint) 같은 역할을 해요. 사람마다 지문이 다르듯, 데이터마다 고유한 해시값이 나오는 거죠. 그래서 오늘날 전자서명과 분산원장 같은 기술의 바탕이 되었어요.

이렇게 보면 쉬워요 · 어떤 문서든 넣으면 똑같은 길이의 '지문'을 찍어 주는 도장 같은 거예요.

2. 좋은 해시 함수는 어떤 성질을 가져야 하나요?

해싱을 제대로 이해하려면, 좋은 해시 함수가 어떤 성질을 갖춰야 하는지 보면 돼요. 특히 보안을 위해 쓰는 암호학적 해시 함수는 아래 성질들을 모두 만족해야 해요.

• 결정론적 동작: 같은 입력을 넣으면 언제나 같은 해시값이 나와요. 반대로 두 해시값이 다르다면 원래 입력도 반드시 달랐다는 뜻이에요.
• 눈사태 효과(avalanche effect): 입력을 딱 한 글자, 아니 한 비트만 바꿔도 결과값은 이전과 전혀 상관없어 보이는 값으로 확 달라져요. 눈 한 뭉치가 산사태를 일으키듯이요.
• 단방향성(역상 저항성): 해시값만 보고 원래 입력이 뭐였는지 거꾸로 되돌리는 건 사실상 불가능해요. 이걸 '역상(pre-image)을 찾기 어렵다'고 표현해요.
• 제2역상 저항성: 어떤 입력이 하나 주어졌을 때, 그것과 똑같은 해시값을 내놓는 또 다른 입력을 찾기가 어려워요.
• 충돌 저항성: 서로 다른 두 입력이 우연히 같은 해시값을 갖는 걸 충돌(collision)이라고 하는데, 이런 충돌을 일부러 찾아내기가 매우 어려워요.

이 성질들이 함께 성립하기 때문에, 해시값은 원본 데이터를 대신하는 짧고 고유한 표식으로 믿고 쓸 수 있는 거예요.

이렇게 보면 쉬워요 · 눈사태 효과는, 요리에 소금 한 알만 더 넣었는데 맛이 완전히 딴판이 되는 것과 비슷해요.

3. 암호학적 해시와 비암호학적 해시는 뭐가 달라요?

해시 함수는 무엇에 쓰느냐에 따라 두 종류로 나뉘어요.

암호학적 해시 함수(Cryptographic Hash Function)는 앞에서 본 역상·제2역상·충돌 저항성을 모두 갖추도록 만들어졌어요. 그래서 '이 데이터가 진짜 맞는지' 확인하는 인증과, '중간에 안 바뀌었는지' 확인하는 무결성 검증에 쓰여요. MD5와 SHA 계열이 여기에 속해요.

비암호학적 해시 함수는 보안보다 속도와 오류 잡아내기에 초점을 둬요. 대표적으로 CRC32는 데이터를 전송하다 생긴 오류를 찾아내거나 자료구조의 색인을 만드는 데 쓰이지만, 누군가 일부러 데이터를 위조하는 걸 막는 용도로는 맞지 않아요.

한편 암호학적 해시 함수는 아무 길이의 입력이나 받되, 내부적으로 입력을 일정한 블록 단위로 채워 넣는 '패딩' 과정을 거쳐요. 이때 원본이 얼마나 길었는지 그 길이 정보도 함께 기록해요. 이런 방식 때문에, 이론상 처리할 수 있는 입력 길이에는 상한선이 있어요.

이렇게 보면 쉬워요 · 암호학적 해시는 위조 방지 도장, 비암호학적 해시는 그냥 빠르게 찍는 번호표라고 생각하면 돼요.

4. 데이터를 빠르게 찾을 때도 쓴다고요? — 해시 테이블

블록체인이 나오기 훨씬 전부터, 해싱은 소프트웨어를 빠르게 만드는 기본 도구였어요. 대표적인 예가 해시 테이블(hash table)이에요.

해시 테이블은 데이터를 저장할 때 그 값의 해시값을 계산해서 어디에 넣을지 위치를 정해요. 나중에 같은 데이터를 다시 찾을 때도 해시값만 한 번 더 계산하면 곧바로 그 위치를 알 수 있어요. 그래서 자료가 아무리 많아도 아주 빠르게 검색하고 조회할 수 있죠. 이 원리는 데이터베이스 색인, 중복된 기록 찾아내기, 심지어 DNA 서열에서 비슷한 패턴을 찾는 일처럼 대량의 데이터를 다루는 여러 분야에서 쓰여요.

다만 이 용도에서는 서로 다른 데이터가 같은 위치로 배정되는 충돌이 성능을 좌우해요. 충돌이 잦을수록 데이터를 하나하나 구별하고 찾는 데 드는 비용이 커지거든요. 그래서 자료구조용 해시 함수의 품질은 이 충돌 확률을 얼마나 낮게 유지하느냐로 평가돼요.

이렇게 보면 쉬워요 · 물건마다 보관함 번호를 자동으로 정해 주는 사물함 같아요. 번호만 알면 뒤지지 않고 바로 꺼내죠.

5. 대표적인 해시 알고리즘에는 뭐가 있나요?

쓰임과 시대에 따라 여러 해시 알고리즘이 쓰여 왔어요.

• SHA 계열: 가장 널리 쓰이는 암호학적 해시 함수 무리예요. 그중 SHA-256은 256비트 길이의 해시값을 내는데, 비트코인이 핵심 알고리즘으로 채택했어요. 이전 세대인 SHA-1은 안전성이 무너져서 요즘 보안 용도에서는 퇴출되는 중이에요.
• 케차크(Keccak): 이더리움 등이 채택한 알고리즘의 바탕으로, SHA-3 표준의 뿌리가 되었어요.
• 스크립트(scrypt): 라이트코인 등이 쓰는데, 계산할 때 메모리를 많이 잡아먹도록 일부러 설계해서 특정 전용 하드웨어가 갖는 이점을 줄이려 했어요.
• 스케인(Skein): SHA-3 표준을 정하는 과정에서 경쟁했던 후보 중 하나로, 다양한 대안 알고리즘이 존재한다는 걸 보여줘요.
• MD5: 한때 널리 쓰였지만, 이후 약점이 드러나면서 보안 용도로는 더 이상 권장되지 않아요.

이처럼 알고리즘마다 해시값 길이, 계산에 드는 비용, 필요한 메모리 양이 달라요. 그래서 각 시스템은 자기 목적에 맞는 걸 골라 써요.

6. 왜 안전하던 해시가 시간이 지나면 위험해지나요?

해시 함수는 무한히 많은 입력을 유한한 길이의 값으로 압축해요. 그러니 원리상 충돌 자체는 반드시 존재할 수밖에 없어요. 진짜 관건은, 그 충돌을 현실적인 시간 안에 일부러 만들어낼 수 있느냐예요.

MD5는 서로 다른 두 입력이 같은 해시값을 갖도록 하는 충돌을 실제로 만들어낼 수 있다는 게 밝혀지면서 보안 용도에서 신뢰를 잃었어요. SHA-1도 뒤이어 실제 충돌 사례가 공개되면서 폐기 수순을 밟았고요.

이 사례들은 아무리 튼튼해 보이는 해시 알고리즘도 컴퓨터 연산 능력이 발전하고 분석 기법이 발달하면 언젠가 안전성이 무너질 수 있다는 걸 보여줘요. 그래서 보안 시스템은 하나의 알고리즘에 영원히 매달리기보다, 약점이 드러나면 곧바로 더 강한 알고리즘으로 갈아탈 수 있게 설계하는 게 중요해요.

이렇게 보면 쉬워요 · 예전엔 못 따던 자물쇠도 도구가 좋아지면 열리듯, 해시도 세월이 지나면 뚫릴 수 있어요.

7. 블록체인은 해싱으로 어떻게 만들어지나요?

블록체인은 해싱 위에 세워진 기술이라고 해도 될 만큼 해싱을 깊이 활용해요. 각 블록의 블록 헤더에는 바로 앞 블록의 해시값이 담겨 있어요. 그래서 블록들이 사슬처럼 줄줄이 연결돼요. 만약 누가 과거의 어떤 블록 내용을 손대면 그 블록의 해시값이 바뀌고, 그러면 그 뒤로 이어지는 모든 블록의 연결이 어긋나 버려요. 그래서 위조가 즉시 들통나죠. 이 성질이 분산원장의 변경 불가능성과 이중지불 방지의 토대가 돼요.

블록 안에 담긴 거래들은 머클 트리라는 구조로 해싱되어, 결국 하나의 대표 해시값으로 요약돼요. 덕분에 수많은 거래를 일일이 다 확인하지 않고도, 이 대표 해시값 하나만으로 특정 거래가 그 안에 들어 있는지, 그리고 내용이 온전한지를 효율적으로 검증할 수 있어요. 사슬의 맨 첫 블록인 제네시스 블록부터 가장 최신 블록까지 이 연결이 죽 이어져 있어요.

이렇게 보면 쉬워요 · 각 장의 끄트머리에 앞 장의 내용을 요약해 붙인 공책 같아요. 중간 한 장을 몰래 고치면 뒤 요약이 전부 안 맞게 되죠.

8. 채굴할 때 해싱은 무슨 일을 하나요?

작업증명 방식의 채굴에서도 해싱이 핵심 역할을 해요. 채굴자는 블록 데이터에 논스라는 값을 계속 바꿔 가며 해싱을 거듭 반복해요. 그렇게 해서 특정 조건(예: 결과값이 0으로 시작하는 것)을 만족하는 해시값을 찾아내야 하죠.

해시 함수의 눈사태 효과 때문에 어떤 논스가 조건을 만족시킬지는 미리 예측할 수가 없어요. 오직 값을 하나하나 바꿔 가며 반복 계산하는 시행착오로만 답을 찾을 수 있죠. 그래서 이 과정에는 어마어마한 연산력이 필요해요. 한 대의 기기나 네트워크 전체가 1초에 수행하는 해싱 횟수를 해시레이트(hashrate)라고 불러요.

비트코인처럼 SHA-256을 쓰는 네트워크에서는 이 계산에 특화된 ASIC 장비가 동원돼요. 반면 메모리를 많이 요구하는 알고리즘은 GPU 기반 채굴에 더 유리하게 작동하기도 해요. 해시레이트가 높을수록 그 네트워크를 위조하는 데 드는 비용도 커지기 때문에, 해시레이트는 네트워크가 얼마나 안전한지를 보여주는 지표로도 읽혀요.

이렇게 보면 쉬워요 · 정답을 계산으로 못 구하고, 자물쇠 번호를 하나씩 다 돌려 보며 맞추는 것과 같아요.

9. 데이터가 안 바뀌었는지 어떻게 증명하나요?

암호학적 해싱의 가장 실용적인 쓰임은, 데이터가 도중에 바뀌지 않았음을 증명하는 거예요. 원본 데이터의 해시값을 지문처럼 함께 보관해 두면, 나중에 해시를 다시 계산해서 두 값을 비교하는 것만으로 변조 여부를 확인할 수 있어요.

• 파일 검증: 내려받은 파일의 해시값을, 배포한 쪽이 공개해 둔 값과 대조해서 손상되거나 변조되지 않았는지 가려내요.
• 메시지 인증(HMAC): 해시 함수에 비밀 키를 결합해서, 메시지가 위조되지 않았고 정당한 발신자에게서 왔다는 걸 함께 확인하는 데 써요.
• 전자서명: 문서 전체에 서명하는 대신 그 해시값에만 서명해서, 서명 과정을 효율적으로 만들어요.
• IPFS 같은 콘텐츠 주소 지정: 데이터가 어디에 있는지(위치)가 아니라, 내용 자체의 해시값으로 데이터를 식별해요.
• 해시 타임락 계약: 해시값의 원본을 제시해야만 자금이 풀리도록 해서, 조건이 걸린 거래를 성사시켜요.

이처럼 해싱은 단순히 값을 바꾸는 것을 넘어, 서로 믿을 수 없는 환경에서도 데이터의 진위를 증명하는 수단으로 자리 잡았어요.

10. 앞으로 풀어야 할 과제는 뭔가요?

해싱은 이미 성숙한 기술이에요. 하지만 안전성은 한번 정해 두면 끝나는 게 아니라, 계속 갱신해 나가야 하는 대상이에요. MD5와 SHA-1의 사례에서 봤듯, 특정 알고리즘은 언젠가 약해질 수 있어요. 그래서 시스템은 더 강한 알고리즘으로 매끄럽게 갈아탈 수 있도록 준비돼 있어야 해요.

또한 연산 기술이 발전하면 기존 해시 함수가 제공하던 보안 여유가 점점 줄어들 수 있어요. 이에 대비해서 더 긴 해시값을 쓰거나, 새로운 설계를 표준으로 만들려는 노력이 계속 이어지고 있어요. 특히 블록체인처럼 한번 정한 알고리즘을 하드 포크 없이는 바꾸기 어려운 시스템에서는, 어떤 해시 함수를 고르느냐가 장기적인 안전성과 곧바로 직결되는 중요한 결정으로 남아요.