게시판 여기저기 기웃거리다가 결국 "외국에서"란에 올리게 되네요. 제목대로 호주 캔버라 지역에서 발행되는 캔버라타임스 (canberra times)의 일요일판에 미국 뉴욕에서 Anick Jesdaun의 칼럼입니다. 뭐 내용은 우리로서는 다급한 것이 아닐 수도 있지만 우리로서도 생각해 봐야할 것이라고 생각됩니다.

부제로 "새로운 테크놀로지가 여러분 가족 사진을 시간이라는 덫에 가둘 수 있다" 라는  붙어 있습니다. "우리가 한 구석에 쓸모 없이 처박아 놓은 색 바란 사진으로 우리의 어린 시절을 간직할 수 있겠지만 우리의 손자들은 그런 기회가 없을 것 같다"는 말로 칼럼을 시작합니다.

그 이유로 우리의 사진을 기록한 디지털 데이터 화일을 보존되겠지만 그 디지털 데이터를 복원하는 기기가 시대에 변하면서 바뀜으로서 결국 그동안 모아 논 기록인 디지털 데이터를 모두 잃어버리는 결과를 가져와 '디지털 암흑 시대'가 도래할 것으로 예측하고 있습니다.

이러한 문제는 개인적인 기록에서뿐만 아니라 디지털 아트, 법정의 전자 기록, 온라인 저널 등 공공 기록물에 이르기까지 그 영향을 미칠 것이라고 예측된답니다.

New York University의 Moving Image Archive and Preservation Program의 책임자로 있는 Howard Besser는 "디지털은 영원하리라는 생각은 디지털 카피가 완벽하다는 그릇된 생각에 기초하다"고 지적하고, 그 예로 BBc가 1986년 영어로 책이 쓰인 지 900주년 기념 사진, 문서, 기타 다른 기록의 컴퓨터 데이터 모음 "The Domesday Book"의 운명을 예를 들었습니다.

이렇게 모아진 1086권의 책은 아직도 학자들에 의하여 읽혀지는 데 비하여 디지털 버전은 상용화된 소프트웨어와 하드웨어가 17년이 지난 현재 노후화 되어 있어 부서지고 있어, 결국 그 자료가 빠르게 사라진다고 봐야 한다는 것입니다.

이와 비슷한 일이 U. of Southern california의 신경생물학자 Joe Miller는 최근에 NASA의 1976년 화성의 바이킹 탐사 자료를 찾는 중에 발생했답니다. 그가 탐사자료가 저장된 마그네틱 테이프를 읽지 못하였다는 것입니다. NASA에서 이 데이터와 관련된 프로그래머는 죽었거나 NASA를 "더난 상태였다는 것입니다. 그래서 결국 알 수 없는 데이터 포맷 "대문에 이를 프린트하여 학생을 고용하여 타이핑시키고 있답니다.

한편으로 이런 전자기록물들을 읽지 못하는 일들이 대학교수들 개인이나 법정 기록 등 공적인 일에도 자주 일어나고 있습니다. 즉 대학교수들이 자신의 평생기록을 보관한 읽을 수 없는 마그네틱 테이프를 쌓아두고 있는 경우가 많답니다.

이러한 일들은 개인적인 기록물에서도 나타나는데 예를 들면 최근에 MicrosoftWord로 작성된 구 버전의 기록물은 새로운 버전에서 완벽하게 복원하지 못하는 경우가 바로 그 것입니다. jpeg와 같은 이미지 포맷의 경우에도 압축을 하는 경우에 새로운 이미지 포맷으로 압축을 풀면 눈에는 안 나타나지만 일부 데이터를 잃게 되는 점과 같이 새로운 포맷이나 새로운 버전으로 이전에 기록된 데이터를 복원하는 경우에 발생하게 됩니다. 이 방면에 전문가들에 의하면 이러한 문제를 해결하기 위하여 피카소 그림을 몇 년만에 한 번씩 색을 다시 칠하는 것과 같다는 것입니다.

이와 같은 문제 "대문에 위에서 예를 든 "The Domesday Book"을 디지털 버전을 복원하기 위하여 미국과 영국의 두 대학에서 수 십만 달러를 들여 1년 반 동안 예전의 복원 프로그램을 다시 손보았답니다.

그래서  IBM과 같은 회사는 현재와 미래에도 모든 것을 다 읽을 수 있는 컴퓨터를 위한 지도서를 만들는 시도를 하고 있답니다. 그런데 새로운 데이터 포맷이 이러한 지도서에 부합하도록 툴을 개발해야한다고 한다면 PDF 포맷의 경우 그 지도서가 978페이지에 이르게 된답니다. 코넬 대학 도서관의 Anne Kenney는 복제에 대한 법적인 문제와 데이터가 해당 소프트웨어에만 엄격하게 적용되는 문제와 같은 사회적인 이해가 문제를 더욱 복잡하게 만든다고 주장합니다.

National Archives의 Kenneth Thibodeau에 "다르면 현재로는 이런 것을 대비하기 위한 이론과 몇 가지 테스트가 있으나 아직 누구도 그 해결책을 발견하지는 못했답니다. Kenneth Thibodeau는 이러한 일은 사실 소프트웨어 회사들이 상당히 안정된 개방된 표준 (open standards)을 "다르는 방법이 문제를 가장 쉽게 해결하는 방법이라고 지적합니다. 그러나 현실적으로 시장은 개발과 경쟁자와의 다르게 가야한다는 경쟁 "대문에 쉽지만은 아닐 것 같다는 것입니다.

예를 들어 Microsoft는 지속적으로 워드 프로세서의 포맷을 변화시켜와서 1994년에 작성된 워드 파일은 그동안 포맷이 변하지 않은 jpeg 영상파일을 오늘날 여는데 상당히 어렵다. jpeg는 개방된 표준을 "다르는 포맷이기 "대문에 비록 jpeg2000이나 그 이후 버전이 많이 쓰인다 하더라도 소프트웨어 개발자들이 이를 바탕으로 개발할 수 있다는 것입니다. 한편 그 쓰임새가 늘어나고 있는 Adobe System의 pdf 포맷의 경우는 현재 국제적으로 결성된 그룹에서 해당 기업과 표준화된 데이터 archive 버전을 연구하고 있다고 합니다.

그러나 이러한 표준화 노력이 디지털 암흑 시대를 해결하는데 도움은 되겠지만 완전히 없앨 수는 없다는 우려가 확산되고 있답니다. 예전의 포맷으로 작성된 디지털 자료를 읽기 위해서는 누군가는 그 "대까지 썼을 "대의 툴을 유지하고 있어야 하겠지요.

사실 제가 근무하고 있는 연구소에서 옛날에 사용하였던 오래된 장비를 계속 가지고 있는 것이 그 이유일 것 같습니다. 이러한 문제는 1960년대와 1970년대 초기에 컴퓨터에 의한 자동화를 시작했던 곳일수록 더욱 구 모델의 부품을 구하는 것이 현실적인 문제도 대두되는 것 같았습니다. 

그래서 인지 재미있는 것이 New York Times Magazine이 추진한 새 천년 타임캡슐은 3000년에 개봉하게 되어 있는 것인데 결국 내장물을 결국 보통 현미경으로 읽을 수 있는 니켈로 만든 모형과 기록물, 혹은 좋은 종이로 만든 문서로 계획을 변경했답니다.         

 
저는 개인적으로 아주 많은 데이터를 가지고 있는데, 특히 대부분의 데이터는 아주 오래된 데이터 포맷인 fits (Flexible Image Transporting Systems)을 사용하고 있습니다. 이 테이터 포맷은 사실 1950~60년대 우주개발 계획에서 디지털 데이터 전송 수단으로 개발된 것으로 아주 고전적인 포맷으로 바이너리 데이터와 텍스트 (256바이트)가 함께 붙어있는 형태입니다.

사실 개인적으로 데이터 백업 미디어를 무엇으로 할 것인가도 역시 문제이긴 합니다. 제가 처음 데이터를 쓰기 시작해서는 1/2인치 릴 마그네틱테이프를 사용했었는데 그 "대 용량이 약 75MB 였습니다. 이 릴테이프는 아마 70년대부터 사용하기 시작하여 90년대 초반까지 사용하다가 90년대 중반쯤에 완전히 사라진 것 같습니다. 그 다음이 1/4인치 테이프로 200MB를 담을 수 있었습니다. 이 장비는 80년대 말에 나와서 90년대 말에 사라졌습니다. 이 두 장비나 미디어의 경우 거의 그 명맥이 끊긴 상대입니다. 저도 각각 10 여 개에 데이터를 담아놨습니다.

그 이후에 90년대 초에 나온 8mm exabyte tape (120m & 160m)를 썼었는데 대략 2.2GB혹은 5GB까지 다양합니다만 기기 호완성은 현저하게 "덜어지게 되는 것 같습니다. 바로 다음에 나온 것이 4mm exabyte로 8GB에서 20GB를 담을 수 있는 것인데 제 경험으로는 장비간 호완성이 많이 "덜어집니다. 제 경험으로는 120m 8mm가 가장 호완성이 좋은 것 같습니다.

물론 cd도 가능하기는 한데 호완성도 좋은데 문제는 소량 (600MB) 정도이고, 한편으로 광 디스크 (2GB)도 사용해 봤으나 기계 호완성이 많이 "덜어지는 것이 문제인 것 같습니다. 현재는 4mm, 8mm, 그리고 DAT 테이프 (32GB)를 씁니다. DAT는 대량 저장이 가능한데 문제는 기계 호완성이 많이 "덜어지는 것이 문제인 것 같습니다. 제 데이터 총량이 대략 거의 1 Tera Byte 정도 되지 않을까 합니다.           
       
 아직 제 쪽에서는 미디어와 드라이버의 문제만 해결되면 데이터 포맷인 fits의 문제는 없습니다. 불편하긴 하지만 이 표준으로 굳어졌고, 한편으로 업데이트 하면서도 거의 이 표준을 지켜가기 "대문입니다. 한편 구 포맷으로 완벽하게 바꾸는 것도 가능하구요. 그래서 테이프나 하드에서 읽을 수만 있다면 1970년대 것이라고 해도 현재 소프트웨어로 재현하는데 문제는 없습니다. 이게 가능한 이유가 상용을 사용하지 않고 순전 연구용으로 개발하기 "대문일 것 같습니다. 역시 상용의 문제가 작지는 않은 듯합니다.